11 | KI und medizinische Literaturrecherche

KI und medizinische Literaturrecherche eröffnen neue Möglichkeiten für die Informationsbeschaffung und die Verarbeitung wissenschaftlicher Erkenntnisse im ärztlichen Alltag. Grosse Sprachmodelle können medizinische Fragestellungen strukturieren, Suchstrategien entwickeln, wissenschaftliche Publikationen zusammenfassen und unterschiedliche Studienergebnisse gegenüberstellen. Damit können sie insbesondere Ärztinnen und Ärzte unterstützen, denen im klinischen Alltag nur begrenzte zeitliche Ressourcen für eine umfassende Literaturrecherche zur Verfügung stehen.

Allerdings muss zwischen der Generierung plausibel formulierter medizinischer Informationen und einer tatsächlich durchgeführten wissenschaftlichen Literaturrecherche unterschieden werden. Die Existenz einer wissenschaftlichen Publikation, die Qualität ihrer Methodik, die korrekte Wiedergabe ihrer Ergebnisse und deren Übertragbarkeit auf eine konkrete klinische Fragestellung müssen unabhängig voneinander überprüft werden. Der professionelle Einsatz künstlicher Intelligenz setzt deshalb ein grundlegendes Verständnis wissenschaftlicher Recherchemethoden und der evidenzbasierten Medizin voraus.

Inhaltsverzeichnis anzeigen
  1. Medizinische Literaturrecherche im Zeitalter künstlicher Intelligenz
  2. Sprachmodell, Suchmaschine und wissenschaftliche Datenbank
  3. Wissenschaftliche Datenbanken und Informationsquellen
  4. KI-gestützte Recherchewerkzeuge
  5. Von der klinischen Fragestellung zur wissenschaftlichen Recherche
  6. KI-gestützte Entwicklung einer Suchstrategie
  7. Erfundene Publikationen und fehlerhafte Literaturangaben
  8. Die systematische Überprüfung wissenschaftlicher Quellen
  9. Abstract, Volltext und Sekundärquelle
  10. Die Bewertung medizinischer Evidenz
  11. KI und die Interpretation statistischer Ergebnisse
  12. Verzerrungen bei der KI-gestützten Literaturrecherche
  13. KI und systematische Literaturübersichten
  14. Praxisbeispiel aus der Hausarztmedizin
  15. Ein Masterprompt für die medizinische Literaturrecherche
  16. Qualitätssicherung und ärztliche Verantwortung
  17. Checkliste zur wissenschaftlichen Quellenprüfung
  18. Fazit
  19. Weiterführende Beiträge
  20. Literatur und weiterführende Informationen

Medizinische Literaturrecherche im Zeitalter künstlicher Intelligenz

Die kontinuierliche Erweiterung des medizinischen Wissens stellt eine erhebliche Herausforderung für die ärztliche Tätigkeit dar. Neue diagnostische Verfahren, therapeutische Möglichkeiten, wissenschaftliche Studien und aktualisierte Leitlinien müssen regelmässig in bestehende medizinische Entscheidungsprozesse integriert werden.

Traditionell erfolgt die medizinische Literaturrecherche über wissenschaftliche Datenbanken, Fachzeitschriften, Leitlinien und medizinische Fachgesellschaften. Künstliche Intelligenz ergänzt diese etablierten Informationsquellen um Möglichkeiten zur automatisierten Strukturierung, Verarbeitung und sprachlichen Aufbereitung wissenschaftlicher Informationen.

Insbesondere grosse Sprachmodelle ermöglichen es, medizinische Fragestellungen in natürlicher Sprache zu formulieren und umfangreiche wissenschaftliche Informationen in unterschiedlichen Darstellungsformen aufzubereiten.

Ein grundlegendes Verständnis der technologischen Möglichkeiten und Einschränkungen dieser Systeme ist jedoch eine wesentliche Voraussetzung für ihre sachgerechte Verwendung. Die entsprechenden Grundlagen werden im Beitrag Was ist künstliche Intelligenz? ausführlich erläutert.

Welche Aufgaben kann künstliche Intelligenz unterstützen?

  • Präzisierung einer klinischen oder wissenschaftlichen Fragestellung.
  • Identifikation geeigneter medizinischer Suchbegriffe.
  • Entwicklung und Optimierung von Suchstrategien.
  • Unterstützung bei der Identifikation relevanter Publikationen, sofern geeignete Recherchefunktionen verfügbar sind.
  • Strukturierung und Zusammenfassung vorliegender wissenschaftlicher Arbeiten.
  • Gegenüberstellung unterschiedlicher Studiendesigns und Studienergebnisse.
  • Identifikation möglicher methodischer Limitationen und wissenschaftlicher Widersprüche.
  • Aufbereitung wissenschaftlicher Inhalte für Fortbildungen und Patienteninformationen.

Der entscheidende Vorteil liegt dabei nicht zwangsläufig in einer vollständig automatisierten Recherche, sondern in der Unterstützung einzelner Arbeitsschritte innerhalb eines nachvollziehbaren wissenschaftlichen Prozesses.

Hierbei sollte bereits vor Beginn der Recherche definiert werden, welche Aufgabe die künstliche Intelligenz übernehmen soll, welche Informationsquellen zur Verfügung stehen und welche Ergebnisse anschliessend unabhängig überprüft werden müssen.

Eine sprachlich überzeugende Zusammenfassung stellt für sich genommen keinen Nachweis einer erfolgreichen wissenschaftlichen Recherche dar.

Merksatz: Künstliche Intelligenz kann die wissenschaftliche Literaturrecherche unterstützen. Sie ersetzt jedoch weder die wissenschaftliche Originalquelle noch deren kritische Beurteilung.

Sprachmodell, Suchmaschine und wissenschaftliche Datenbank

Im Zusammenhang mit künstlicher Intelligenz werden unterschiedliche Formen der Informationsbeschaffung häufig miteinander verwechselt. Für eine zuverlässige wissenschaftliche Recherche ist es wichtig, die grundlegenden Unterschiede zu verstehen.

01 – Wissenschaftliche Datenbank

Durchsucht bibliografische Datensätze anhand definierter Suchbegriffe und Suchkriterien.

Ergebnis: Identifizierbare wissenschaftliche Publikationen beziehungsweise bibliografische Datensätze.

02 – Sprachmodell

Generiert sprachliche Antworten auf Grundlage erlernter Zusammenhänge und verfügbarer Kontextinformationen.

Ergebnis: Automatisch erzeugter Text, gegebenenfalls ohne Zugriff auf externe Informationsquellen.

03 – KI mit Recherchefunktion

Verbindet die Informationssuche in externen Quellen mit der automatisierten Verarbeitung und Zusammenfassung gefundener Inhalte.

Ergebnis: KI-generierter Text mit potenziell überprüfbaren Quellen.

Vereinfachte didaktische Gegenüberstellung unterschiedlicher Formen der Informationsbeschaffung. Moderne Systeme können mehrere dieser Funktionen miteinander kombinieren.

Die Antwort eines Sprachmodells ist keine Literaturrecherche

Wird ein Sprachmodell nach aktuellen wissenschaftlichen Erkenntnissen gefragt, muss nicht zwangsläufig eine Suche in einer externen Datenbank erfolgen. Die Antwort kann ausschliesslich aus den während des Trainings erlernten Zusammenhängen und den im aktuellen Kontext verfügbaren Informationen generiert werden.

Dadurch kann eine überzeugend formulierte medizinische Antwort entstehen, ohne dass die hierfür relevanten wissenschaftlichen Publikationen tatsächlich gesucht oder eingesehen wurden.

Ein Sprachmodell verfügt allein aufgrund seines Trainings nicht über eine kontinuierlich aktualisierte und systematisch durchsuchbare medizinische Literaturdatenbank. Auch die Fähigkeit, wissenschaftliche Literaturangaben zu erzeugen, ist nicht mit einem tatsächlichen Zugriff auf die entsprechenden Originalpublikationen gleichzusetzen.

Weitere Informationen zu diesem grundlegenden Unterschied finden Sie im Beitrag Grosse Sprachmodelle – Large Language Models (LLMs).

Allgemeine Internetsuche und wissenschaftliche Datenbankrecherche

Eine allgemeine Internetsuchmaschine durchsucht indexierte Internetinhalte. Hierzu können wissenschaftliche Publikationen, Verlagsseiten, medizinische Informationsportale, Pressemitteilungen und andere Informationsquellen gehören.

Die zugrunde liegenden Auswahl- und Rankingverfahren unterscheiden sich jedoch von den Suchmöglichkeiten spezialisierter wissenschaftlicher Datenbanken.

Eine KI-Anwendung mit allgemeiner Internetsuche verfügt deshalb nicht zwangsläufig über einen direkten Zugang zu wissenschaftlichen Datenbanken oder deren vollständigen Suchfunktionen.

Auch wenn eine KI-Anwendung wissenschaftliche Publikationen über das Internet identifizieren kann, bedeutet dies nicht, dass eine definierte Suchstrategie tatsächlich innerhalb von PubMed, Embase oder einer anderen wissenschaftlichen Datenbank ausgeführt wurde.

Bei einer nachvollziehbaren wissenschaftlichen Recherche sollte deshalb dokumentiert werden, welche Informationsquellen tatsächlich durchsucht wurden.

Recherchegestützte Textgenerierung

Moderne KI-Anwendungen können externe Informationsquellen in die Erstellung ihrer Antworten einbeziehen. Ein entsprechendes technisches Prinzip wird als Retrieval-Augmented Generation (RAG) bezeichnet.

Hierbei werden externe Informationen identifiziert und dem Sprachmodell als zusätzlicher Kontext für die Antwortgenerierung bereitgestellt. Je nach technischer Umsetzung können diese Informationen aus Suchmaschinen, wissenschaftlichen Datenbanken, internen Dokumentensammlungen oder anderen Informationssystemen stammen.

Diese Vorgehensweise kann die Nachvollziehbarkeit verbessern. Sie gewährleistet jedoch nicht automatisch, dass sämtliche relevanten Publikationen gefunden, die geeigneten Textabschnitte ausgewählt oder die Studienergebnisse korrekt interpretiert werden.

Darüber hinaus kann der tatsächliche Quellenzugang auf bibliografische Informationen, Abstracts oder einzelne Ausschnitte einer wissenschaftlichen Publikation beschränkt sein.

Die Qualität einer recherchegestützten KI-Antwort hängt deshalb nicht allein von der Leistungsfähigkeit des Sprachmodells ab, sondern auch von der Qualität der verfügbaren Informationsquellen, der Informationssuche und der anschliessenden Verarbeitung der gefundenen Inhalte.

Wichtig: Auch eine KI-Antwort mit anklickbaren Quellenangaben muss überprüft werden. Ein vorhandener Link beweist weder, dass die Originalpublikation vollständig eingesehen wurde, noch, dass die damit verbundene wissenschaftliche Aussage durch die verlinkte Publikation tatsächlich gestützt wird.

Wissenschaftliche Datenbanken und Informationsquellen

Wissenschaftliche Datenbanken bleiben auch bei der Verwendung künstlicher Intelligenz eine wesentliche Grundlage der medizinischen Literaturrecherche. Sie ermöglichen die gezielte Identifikation wissenschaftlicher Publikationen und bieten hierfür unterschiedliche Such- und Filtermöglichkeiten.

Die Auswahl geeigneter Informationsquellen sollte sich insbesondere an der wissenschaftlichen Fragestellung, dem angestrebten Umfang der Recherche und dem vorgesehenen Verwendungszweck orientieren.

Wichtige Informationsquellen für den ärztlichen Alltag

Informationsquelle Schwerpunkt Anwendung
PubMed Biomedizinische Literatur Identifikation von Originalarbeiten, Reviews und weiteren medizinischen Publikationen.
PubMed Central Wissenschaftliche Volltexte Zugang zu archivierten, frei verfügbaren wissenschaftlichen Volltexten.
Cochrane Library Systematische Reviews und Nachweise kontrollierter Studien Evidenz zu medizinischen Interventionen und Identifikation relevanter Studien.
Embase Biomedizinische und pharmakologische Literatur Erweiterte Literaturrecherche, Arzneimittelforschung und systematische Reviews.
Google Scholar Fachübergreifende wissenschaftliche Literatur Ergänzende Recherche, Zitationssuche und Identifikation weiterer Publikationen.
ClinicalTrials.gov Registrierte klinische Studien Registrierungsinformationen, geplante und laufende Studien sowie gegebenenfalls veröffentlichte Studienergebnisse.
Medizinische Fachgesellschaften Leitlinien und fachliche Empfehlungen Klinische Entscheidungsunterstützung unter Berücksichtigung des jeweiligen Gesundheitssystems.

Auswahl etablierter wissenschaftlicher Informationsquellen. Die Verfügbarkeit von Volltexten, Funktionen und Datenbankzugängen kann variieren.

PubMed, MEDLINE und PubMed Central

PubMed ist eine frei zugängliche Rechercheplattform der US-amerikanischen National Library of Medicine (NLM). Neben den in MEDLINE indexierten Publikationen enthält PubMed weitere bibliografische Datensätze.

MEDLINE stellt einen zentralen Bestandteil von PubMed dar. Die darin aufgenommenen wissenschaftlichen Publikationen werden unter anderem mithilfe eines kontrollierten medizinischen Begriffssystems, der Medical Subject Headings (MeSH), erschlossen.

PubMed Central (PMC) ist demgegenüber ein digitales Volltextarchiv für biomedizinische und andere lebenswissenschaftliche Literatur.

Während PubMed vor allem der Identifikation wissenschaftlicher Publikationen dient, ermöglicht PubMed Central den direkten Zugang zu den dort archivierten Volltexten. Nicht jede über PubMed identifizierbare Publikation ist auch in PubMed Central verfügbar.

PubMed ermöglicht unter anderem die gezielte Suche nach medizinischen Fachbegriffen, Autoren, Zeitschriften und Publikationstypen. Suchergebnisse können anhand unterschiedlicher Kriterien eingegrenzt werden [1].

Allerdings bedeutet die Aufnahme einer Publikation in PubMed nicht, dass ihre wissenschaftlichen Schlussfolgerungen unabhängig überprüft oder uneingeschränkt zuverlässig sind.

Studienregister als ergänzende Informationsquelle

Studienregister können insbesondere bei umfassenderen wissenschaftlichen Recherchen eine wertvolle Ergänzung zu bibliografischen Datenbanken darstellen.

Sie ermöglichen beispielsweise die Identifikation laufender, abgeschlossener oder registrierter, bislang nicht als Fachartikel veröffentlichter Studien.

Darüber hinaus können registrierte Studieninformationen dabei helfen, die ursprünglich vorgesehenen Studienziele und Endpunkte mit den später veröffentlichten Ergebnissen zu vergleichen.

Eine Studienregistrierung beziehungsweise die Veröffentlichung von Ergebnissen innerhalb eines Studienregisters ist allerdings nicht mit einer wissenschaftlichen Begutachtung der entsprechenden Inhalte gleichzusetzen.

Wissenschaftliche Leitlinien

Bei konkreten klinischen Fragestellungen kann die Recherche aktueller medizinischer Leitlinien häufig einen geeigneten Ausgangspunkt darstellen. Leitlinien berücksichtigen im Idealfall nicht nur einzelne wissenschaftliche Publikationen, sondern die Gesamtheit relevanter Evidenz und deren klinische Interpretation.

Dabei sollten insbesondere die Aktualität der Leitlinie, ihre methodische Grundlage, die Stärke der jeweiligen Empfehlungen und mögliche Interessenkonflikte berücksichtigt werden.

Nicht jede fachgesellschaftliche Empfehlung basiert auf derselben methodischen Vorgehensweise oder derselben Qualität wissenschaftlicher Evidenz.

Bei internationalen Empfehlungen muss zusätzlich überprüft werden, inwieweit diese auf die medizinische Versorgung in der Schweiz übertragbar sind.

KI-gestützte Recherchewerkzeuge

Neben allgemein verwendbaren Sprachmodellen existieren spezialisierte Anwendungen, die insbesondere für die wissenschaftliche Recherche und die Verarbeitung wissenschaftlicher Publikationen entwickelt wurden.

Die unterschiedlichen Systeme verfolgen dabei verschiedene Ansätze. Während einige Werkzeuge auf die Identifikation relevanter Arbeiten spezialisiert sind, unterstützen andere vor allem die Extraktion von Studieninformationen oder die Analyse wissenschaftlicher Zitationsbeziehungen.

Auch die zugrunde liegenden wissenschaftlichen Datenquellen, der verfügbare Volltextzugang und die Möglichkeiten einer nachvollziehbaren Dokumentation der Recherche können sich erheblich unterscheiden.

Beispiele unterschiedlicher KI-Recherchewerkzeuge

Anwendung Typischer Schwerpunkt
ChatGPT, Claude, Gemini Allgemeine sprachmodellgestützte Unterstützung, Entwicklung von Suchstrategien, Analyse bereitgestellter Dokumente und gegebenenfalls recherchegestützte Informationsverarbeitung.
Perplexity Recherchegestützte Zusammenstellung von Informationen aus externen Quellen.
Elicit Identifikation wissenschaftlicher Arbeiten und strukturierte Extraktion von Studieninformationen.
Consensus Bearbeitung wissenschaftlicher Fragestellungen und Zusammenstellung von Informationen aus Forschungspublikationen.
Scite Analyse wissenschaftlicher Zitate und der Kontexte, in denen Publikationen zitiert werden.
ResearchRabbit Exploration wissenschaftlicher Publikationsnetzwerke und Entdeckung verwandter Arbeiten.

Orientierende Auswahl von Anwendungen anhand ihrer allgemeinen Ausrichtung. Keine vergleichende wissenschaftliche Bewertung, keine Empfehlung einzelner Produkte und keine Zusicherung bestimmter aktueller Funktionen. Leistungsumfang, Datenquellen, Zugangsbedingungen und verfügbare Recherchefunktionen können sich ändern.

Welches Werkzeug eignet sich für welche Aufgabe?

Entscheidend ist weniger die Auswahl eines vermeintlich besten KI-Systems als vielmehr die Auswahl eines geeigneten Werkzeugs für den jeweiligen Arbeitsschritt.

Ein allgemeines Sprachmodell kann beispielsweise bei der Entwicklung einer Suchstrategie unterstützen. Eine spezialisierte Rechercheanwendung kann zusätzliche relevante Publikationen identifizieren. Ein wissenschaftliches Zitationswerkzeug kann Hinweise auf weitere Publikationen und unterschiedliche wissenschaftliche Bewertungen liefern.

Die bibliografische Überprüfung und Einsichtnahme in die Originalarbeiten bleiben jedoch eigenständige Schritte.

Auch spezialisierte wissenschaftliche KI-Anwendungen können relevante Studien übersehen, Ergebnisse fehlerhaft extrahieren oder wissenschaftliche Aussagen unangemessen gewichten.

Die Funktionsweise allgemein verwendbarer KI-Anwendungen und ihrer unterschiedlichen technischen Möglichkeiten wird im Beitrag Wie funktioniert ChatGPT? näher erläutert.

Welche Kriterien sollten bei der Auswahl berücksichtigt werden?

  • Welche wissenschaftlichen Datenquellen verwendet die Anwendung?
  • Ist die Auswahl der gefundenen Publikationen nachvollziehbar?
  • Können die verwendeten Suchbegriffe und Suchkriterien dokumentiert werden?
  • Ist der tatsächliche Zugriff auf Abstracts und wissenschaftliche Volltexte erkennbar?
  • Können wissenschaftliche Aussagen den entsprechenden Originalquellen zugeordnet werden?
  • Lassen sich Rechercheergebnisse für eine unabhängige Weiterverarbeitung exportieren?
  • Welche Einschränkungen bestehen hinsichtlich der Vollständigkeit und Aktualität der Recherche?
  • Welche datenschutzrechtlichen und urheberrechtlichen Voraussetzungen müssen bei der Verwendung eigener Dokumente berücksichtigt werden?

Die Bedeutung dieser Kriterien hängt vom angestrebten Verwendungszweck ab. Für eine orientierende Recherche im klinischen Alltag können andere Anforderungen bestehen als für die Vorbereitung einer wissenschaftlichen Publikation oder die Durchführung eines systematischen Reviews.

Merksatz: Nicht die Anzahl der gefundenen Publikationen oder die Qualität ihrer sprachlichen Zusammenfassung entscheidet über den wissenschaftlichen Wert einer KI-gestützten Recherche, sondern die Relevanz, Zuverlässigkeit und nachvollziehbare Überprüfung der zugrunde liegenden Informationen.

Von der klinischen Fragestellung zur wissenschaftlichen Recherche

Die Qualität einer Literaturrecherche beginnt mit der Qualität der zugrunde liegenden Fragestellung. Allgemeine oder mehrdeutige Fragen führen häufig zu einer Vielzahl unterschiedlicher wissenschaftlicher Ergebnisse, deren klinische Bedeutung nur schwer beurteilt werden kann.

Für therapeutische Fragestellungen hat sich insbesondere das PICO-Schema etabliert. Es ermöglicht die strukturierte Formulierung einer klinisch relevanten Frage.

Das PICO-Schema

P

Population

Welche Patienten oder welche Erkrankung werden untersucht?

I

Intervention

Welche therapeutische, präventive oder gegebenenfalls diagnostische Massnahme interessiert?

C

Comparison

Mit welcher Alternative wird die Massnahme verglichen?

O

Outcome

Welche klinisch relevanten Ergebnisse sollen untersucht werden?

Je nach Fragestellung kann das Schema ergänzt oder angepasst werden. Diagnostische, prognostische und epidemiologische Fragestellungen erfordern teilweise andere Schwerpunkte als die Bewertung therapeutischer Interventionen.

Bei diagnostischen Fragestellungen müssen beispielsweise die untersuchte Patientenpopulation, das zu evaluierende diagnostische Verfahren, der Referenzstandard und die gesuchte Zielerkrankung berücksichtigt werden.

Bei prognostischen Fragestellungen können dagegen der Ausgangszustand der Patienten, prognostische Faktoren, der Beobachtungszeitraum und das interessierende klinische Ereignis im Vordergrund stehen.

Entscheidend ist nicht die schematische Anwendung einer bestimmten Struktur, sondern die nachvollziehbare Definition der wissenschaftlichen Fragestellung.

Beispiel einer klinischen Fragestellung

Unstrukturierte Fragestellung:

Hilft körperliches Training bei arterieller Hypertonie?

Strukturierte Fragestellung:

  • Population: Erwachsene mit arterieller Hypertonie.
  • Intervention: Regelmässiges aerobes Ausdauertraining.
  • Comparison: Übliche Versorgung ohne zusätzliches strukturiertes Ausdauertraining.
  • Outcome: Veränderung des systolischen und diastolischen Blutdrucks.

Auf dieser Grundlage kann eine präzisere wissenschaftliche Recherche durchgeführt werden. Zusätzlich können beispielsweise der Beobachtungszeitraum, relevante Begleiterkrankungen, die begleitende antihypertensive Medikation oder die Art der Blutdruckmessung berücksichtigt werden.

Auch die Unterscheidung zwischen kurzfristigen Veränderungen des Blutdrucks und langfristigen patientenrelevanten Endpunkten kann für die Definition der wissenschaftlichen Fragestellung von Bedeutung sein.

Wie kann KI hierbei unterstützen?

Beispielprompt:

Formulieren Sie aus der folgenden klinischen Fragestellung eine präzise wissenschaftliche Recherchefrage nach dem PICO-Schema. Prüfen Sie zunächst, ob dieses Schema für die vorliegende Fragestellung geeignet ist. Identifizieren Sie mögliche Unklarheiten und schlagen Sie geeignete klinische Endpunkte vor. Kennzeichnen Sie zusätzlich erforderliche Informationen. Nehmen Sie die Beantwortung der Fragestellung noch nicht vor.

Durch die Trennung zwischen der Formulierung einer Fragestellung und ihrer anschliessenden Beantwortung lässt sich der Rechercheprozess bewusster strukturieren.

Insbesondere sollte vermieden werden, dass das Sprachmodell bereits bei der Definition der wissenschaftlichen Fragestellung eine bestimmte diagnostische oder therapeutische Schlussfolgerung vorwegnimmt.

KI-gestützte Entwicklung einer Suchstrategie

Eine präzise wissenschaftliche Fragestellung muss anschliessend in geeignete Suchbegriffe übertragen werden. Hierbei kann künstliche Intelligenz insbesondere bei der Identifikation englischsprachiger medizinischer Terminologie, unterschiedlicher Schreibweisen und möglicher Synonyme unterstützen.

Die Entwicklung einer wissenschaftlichen Suchstrategie erfordert jedoch mehr als die Zusammenstellung einer Liste medizinischer Fachbegriffe. Die einzelnen Suchkonzepte müssen sinnvoll miteinander verbunden und entsprechend den technischen Anforderungen der jeweiligen Datenbank formuliert werden.

Medical Subject Headings (MeSH)

MeSH ist ein kontrolliertes medizinisches Begriffssystem der National Library of Medicine. Es ermöglicht die thematische Indexierung und Recherche wissenschaftlicher Informationen.

Hierdurch können beispielsweise wissenschaftliche Publikationen zu einer bestimmten Erkrankung identifiziert werden, auch wenn die Autoren unterschiedliche medizinische Bezeichnungen verwendet haben.

Da nicht alle PubMed-Datensätze mit MeSH-Begriffen indexiert sind, kann die Kombination von MeSH-Begriffen und freien Suchbegriffen sinnvoll sein [1,2].

Die von einem Sprachmodell vorgeschlagenen MeSH-Begriffe müssen hinsichtlich ihrer tatsächlichen Existenz, ihrer inhaltlichen Bedeutung und ihrer Eignung für die jeweilige Recherche überprüft werden.

Hierzu steht die offizielle MeSH-Datenbank der National Library of Medicine zur Verfügung.

Für andere wissenschaftliche Datenbanken können abweichende kontrollierte Begriffssysteme erforderlich sein. Embase verwendet beispielsweise das Begriffssystem Emtree.

Eine für PubMed formulierte Suchstrategie kann deshalb nicht ohne entsprechende Anpassung auf andere wissenschaftliche Datenbanken übertragen werden.

Boolesche Operatoren

Operator Funktion Beispiel
AND Verknüpft unterschiedliche Suchkonzepte, die gemeinsam erfüllt sein sollen. Hypertension AND Exercise
OR Verknüpft alternative Suchbegriffe und erweitert die Suche. Exercise OR Physical Activity
NOT Schliesst bestimmte Suchergebnisse aus. Hypertension NOT Pregnancy

Der Operator NOT sollte insbesondere bei umfassenden wissenschaftlichen Recherchen zurückhaltend verwendet werden, da hierdurch auch relevante Publikationen unbeabsichtigt ausgeschlossen werden können.

Darüber hinaus müssen bei der Kombination mehrerer Suchbegriffe geeignete Klammerungen verwendet werden, damit die verschiedenen Suchkonzepte entsprechend der beabsichtigten logischen Struktur miteinander verbunden werden.

Beispiel einer KI-generierten PubMed-Suchstrategie

Auf Grundlage der zuvor formulierten klinischen Fragestellung zur Bedeutung körperlichen Ausdauertrainings bei arterieller Hypertonie kann eine erste orientierende Suchstrategie entwickelt werden.

Suchkonzept 1 – Arterielle Hypertonie

(«Hypertension»[MeSH Terms] OR hypertension[Title/Abstract] OR «high blood pressure»[Title/Abstract])

AND

Suchkonzept 2 – Aerobes Training

(«Exercise»[MeSH Terms] OR «aerobic exercise»[Title/Abstract] OR «aerobic training»[Title/Abstract] OR «endurance training»[Title/Abstract] OR «physical activity»[Title/Abstract])

Didaktisches Beispiel einer möglichen Ausgangssuchstrategie. Die Suchanfrage wurde für diesen Beitrag nicht praktisch ausgeführt oder hinsichtlich ihrer Sensitivität und Spezifität validiert. Sie ist nicht als abschliessende Suchstrategie für einen systematischen Review zu verstehen.

Die dargestellte Suchstrategie verwendet zunächst zwei zentrale Suchkonzepte: die arterielle Hypertonie und körperliches Training.

Dabei werden bewusst auch weiter gefasste Begriffe wie Exercise und Physical Activity berücksichtigt. Hierdurch können zusätzliche relevante Publikationen identifiziert werden. Gleichzeitig können jedoch auch Arbeiten gefunden werden, die sich nicht ausschliesslich mit aerobem Ausdauertraining beschäftigen.

Nicht alle Bestandteile einer PICO-Fragestellung müssen zwangsläufig als eigenständige Suchkonzepte in eine Literaturrecherche aufgenommen werden.

Insbesondere die zusätzliche Einschränkung nach bestimmten Endpunkten oder Vergleichsinterventionen kann dazu führen, dass relevante Publikationen unbeabsichtigt ausgeschlossen werden, wenn diese Informationen beispielsweise nicht ausdrücklich im Titel oder Abstract genannt werden.

Die praktische Überprüfung einer Suchstrategie

Eine wissenschaftliche Suchstrategie muss unabhängig von ihrer sprachlichen Plausibilität in der vorgesehenen Datenbank getestet werden. Insbesondere sollten die tatsächlichen Suchergebnisse und die verwendete Datenbanksyntax überprüft werden.

Dabei können die folgenden Arbeitsschritte hilfreich sein:

  1. Überprüfung der vorgeschlagenen kontrollierten Schlagwörter und freien Suchbegriffe.
  2. Ausführung der Suchstrategie in der vorgesehenen wissenschaftlichen Datenbank.
  3. Überprüfung der von der Datenbank interpretierten Suchanfrage und möglicher technischer Fehlermeldungen.
  4. Beurteilung der thematischen Relevanz einer Auswahl der gefundenen Publikationen.
  5. Überprüfung, ob bereits bekannte relevante wissenschaftliche Arbeiten durch die Suchstrategie identifiziert werden.
  6. Gegebenenfalls Anpassung der Suchbegriffe und erneute Durchführung der Recherche.
  7. Dokumentation der endgültigen Suchstrategie, der verwendeten Datenbank, des Suchdatums, der angewendeten Filter und der Anzahl der gefundenen Datensätze.

Bei systematischen Recherchen sollten auch alternative Suchbegriffe, zusätzliche Datenbanken und gegebenenfalls geeignete validierte Suchfilter berücksichtigt werden [2].

Zeitliche Einschränkungen, Sprachfilter und Einschränkungen auf bestimmte Publikationstypen sollten nicht unkritisch übernommen werden, da auch hierdurch relevante wissenschaftliche Arbeiten ausgeschlossen werden können.

Wie kann KI bei der Entwicklung einer Suchstrategie unterstützen?

Beispielprompt:

Entwickeln Sie aus der folgenden klinischen Fragestellung eine nachvollziehbare PubMed-Suchstrategie. Identifizieren Sie die zentralen Suchkonzepte und schlagen Sie geeignete MeSH-Begriffe, englischsprachige Synonyme und alternative Schreibweisen vor.

Verknüpfen Sie die Suchbegriffe mithilfe geeigneter Boolescher Operatoren und verwenden Sie die für PubMed vorgesehene Suchsyntax. Erläutern Sie, welche Einschränkungen zu einem unbeabsichtigten Ausschluss relevanter Publikationen führen könnten.

Kennzeichnen Sie alle nicht überprüften MeSH-Begriffe und unterscheiden Sie ausdrücklich zwischen einer vorgeschlagenen Suchstrategie und einer tatsächlich in PubMed ausgeführten Recherche. Geben Sie keine erfundenen Trefferzahlen oder nicht überprüften Literaturangaben an.

Die Qualität einer KI-generierten Suchstrategie hängt wesentlich von der Präzision des zugrunde liegenden Arbeitsauftrages ab.

Weitere methodische Grundlagen zur Formulierung solcher Arbeitsaufträge finden Sie im Beitrag Prompt Engineering – richtig fragen.

Merksatz: Eine KI-generierte Suchstrategie ist zunächst ein methodischer Entwurf. Erst ihre tatsächliche Ausführung, Überprüfung und gegebenenfalls Anpassung innerhalb einer wissenschaftlichen Datenbank machen daraus einen nachvollziehbaren Rechercheprozess.

Erfundene Publikationen und fehlerhafte Literaturangaben

Eine der wichtigsten Herausforderungen bei der Verwendung grosser Sprachmodelle für wissenschaftliche Aufgaben ist die mögliche Generierung nicht existierender Publikationen.

Da Sprachmodelle auch ohne Zugriff auf wissenschaftliche Originalquellen bibliografische Angaben generieren können, entstehen unter Umständen Literaturverzeichnisse, die formal korrekt erscheinen, jedoch teilweise oder vollständig fehlerhaft sind.

Dieses Phänomen ist besonders problematisch, da wissenschaftliche Literaturangaben aufgrund ihrer standardisierten Darstellung häufig einen hohen Grad an Glaubwürdigkeit vermitteln. Selbst erfahrene medizinische Fachpersonen können erfundene Publikationen nicht zwangsläufig anhand ihrer bibliografischen Angaben erkennen.

Die technologischen Hintergründe dieses Phänomens werden im Beitrag Grenzen künstlicher Intelligenz ausführlich erläutert.

Typische Fehler bei KI-generierten Literaturangaben

  • Vollständig erfundene wissenschaftliche Publikationen.
  • Reale Autoren in Verbindung mit erfundenen Artikeltiteln.
  • Falsche Angaben zu Zeitschriften, Erscheinungsjahr oder Seitenzahlen.
  • Erfundene oder anderen Publikationen zugeordnete DOI-Nummern.
  • Existierende Publikationen, deren Inhalt die behauptete Aussage nicht unterstützt.
  • Fehlerhafte oder erfundene Studienergebnisse aus tatsächlich existierenden Arbeiten.
  • Unzutreffende Angaben zur untersuchten Studienpopulation oder zum verwendeten Studiendesign.
  • Fehlerhafte Zuordnung wissenschaftlicher Erkenntnisse zu einzelnen Originalpublikationen.

Besonders schwierig zu erkennen sind Fehler, bei denen eine tatsächlich existierende wissenschaftliche Publikation mit einer unzutreffenden medizinischen Aussage verbunden wird. Eine ausschliesslich bibliografische Überprüfung reicht in diesen Fällen nicht aus.

Wissenschaftliche Untersuchung von Walters und Wilder

Walters und Wilder untersuchten 2023 die Zuverlässigkeit bibliografischer Angaben von GPT-3.5 und GPT-4. Die Analyse umfasste 636 Literaturangaben aus insgesamt 84 automatisch generierten Texten zu 42 fachübergreifenden Themen [3].

In den mit GPT-3.5 erstellten Texten waren 55 % der Literaturangaben erfunden. Bei GPT-4 betrug dieser Anteil 18 %. Auch bei tatsächlich existierenden Publikationen wurden bibliografische Fehler festgestellt.

Innerhalb der Gruppe tatsächlich existierender Publikationen enthielten 43 % der von GPT-3.5 und 24 % der von GPT-4 generierten Literaturangaben substanzielle Zitierfehler.

ERFUNDENE UND FEHLERHAFTE LITERATURANGABEN

Erfundene Literaturangaben

GPT-3.5 – 55 %

GPT-4 – 18 %

Substanzielle Zitierfehler bei real existierenden Publikationen

GPT-3.5 – 43 %

GPT-4 – 24 %

Eigene grafische Darstellung nach Walters und Wilder, Scientific Reports 2023 [3]. Die erste Fehlerkategorie bezieht sich auf sämtliche generierten Literaturangaben, die zweite ausschliesslich auf tatsächlich existierende Publikationen. Die Prozentwerte der beiden Kategorien dürfen deshalb nicht einfach addiert werden.

Einordnung der Studienergebnisse

Die Untersuchung bezieht sich auf zwei historische Modellgenerationen und eine definierte experimentelle Aufgabenstellung aus dem Jahr 2023. Es handelte sich nicht um eine ausschliesslich medizinische Literaturrecherche oder um die Untersuchung aktueller recherchegestützter KI-Anwendungen.

Aus den Ergebnissen lassen sich deshalb keine aktuellen Fehlerraten heutiger Sprachmodelle ableiten.

Auch können die Ergebnisse nicht ohne Weiteres auf spezialisierte wissenschaftliche KI-Anwendungen übertragen werden, die bei der Informationsbeschaffung unmittelbar auf externe wissenschaftliche Datenquellen zurückgreifen.

Sie zeigen jedoch, weshalb die bibliografische Überprüfung KI-generierter Literaturangaben einen eigenständigen Arbeitsschritt darstellen muss.

Recherchegestützte Verfahren können das Risiko erfundener Literaturangaben reduzieren. Sie schliessen jedoch nicht aus, dass tatsächlich existierende Publikationen falsch interpretiert oder wissenschaftlichen Aussagen unzutreffend zugeordnet werden.

Die entscheidende Frage lautet deshalb nicht allein, ob eine künstliche Intelligenz korrekte Literaturangaben generieren kann, sondern auch, ob die betreffenden Originalpublikationen tatsächlich eingesehen und hinsichtlich der behaupteten wissenschaftlichen Aussagen überprüft wurden.

Merksatz: Wissenschaftliche Literaturangaben dürfen nicht aufgrund ihrer plausiblen Darstellung als korrekt betrachtet werden. Die Existenz der Publikation, ihre bibliografischen Angaben und ihr tatsächlicher wissenschaftlicher Inhalt müssen unabhängig überprüft werden.

Die systematische Überprüfung wissenschaftlicher Quellen

Die wissenschaftliche Quellenprüfung sollte mehrere aufeinanderfolgende Schritte umfassen. Dabei genügt es nicht, ausschliesslich nach der Existenz einer Publikation zu suchen.

Auch die Übereinstimmung zwischen der tatsächlichen wissenschaftlichen Aussage und ihrer KI-generierten Interpretation muss überprüft werden.

Darüber hinaus sind die methodische Qualität der jeweiligen Untersuchung und die Übertragbarkeit ihrer Ergebnisse auf die konkrete klinische Fragestellung zu berücksichtigen.

Diese unterschiedlichen Ebenen der Quellenprüfung sollten innerhalb eines wissenschaftlichen Arbeitsprozesses ausdrücklich voneinander getrennt werden.

Die fünf Ebenen der wissenschaftlichen Quellenprüfung

01 – Existenzprüfung

Existiert die angegebene wissenschaftliche Publikation tatsächlich?

↓

02 – Bibliografische Prüfung

Stimmen Autoren, Titel, Zeitschrift, Erscheinungsjahr und Identifikatoren mit der Originalquelle überein?

↓

03 – Inhaltliche Prüfung

Unterstützt die Publikation tatsächlich die Aussage, für die sie zitiert wird? Wurden Studienpopulation, Ergebnisse und Schlussfolgerungen korrekt wiedergegeben?

↓

04 – Methodische Prüfung

Wie zuverlässig sind Studiendesign, Datenerhebung, statistische Auswertung und Schlussfolgerungen? Welche methodischen Verzerrungsrisiken bestehen?

↓

05 – Klinische Einordnung

Welche Bedeutung haben die Ergebnisse für die konkrete medizinische Fragestellung? Inwieweit sind sie auf die betreffenden Patienten und das jeweilige klinische Umfeld übertragbar?

Eigenes didaktisches Stufenmodell zur Überprüfung wissenschaftlicher Quellen. Kein formal validiertes Bewertungsinstrument.

Eine erfolgreich durchgeführte bibliografische Prüfung erlaubt noch keine Aussage über die wissenschaftliche Qualität einer Publikation.

Ebenso bedeutet eine methodisch hochwertige wissenschaftliche Untersuchung nicht zwangsläufig, dass ihre Ergebnisse für jede klinische Situation relevant oder unmittelbar auf andere Patientenpopulationen übertragbar sind.

DOI und PMID

Für die Identifikation wissenschaftlicher Publikationen stehen unterschiedliche standardisierte Identifikatoren zur Verfügung.

Der Digital Object Identifier (DOI) ermöglicht die eindeutige und dauerhafte Identifikation eines entsprechend registrierten digitalen Objekts. Ein DOI kann beispielsweise einer wissenschaftlichen Publikation, einem Datensatz oder ergänzenden wissenschaftlichen Materialien zugeordnet sein.

Der PubMed Identifier (PMID) identifiziert einen bibliografischen Datensatz innerhalb von PubMed.

Für die bibliografische Überprüfung wissenschaftlicher Publikationen können unter anderem die folgenden Plattformen verwendet werden:

  • DOI Resolver – Auflösung eines DOI und Weiterleitung zur hinterlegten Ressource.
  • Crossref Metadata Search – Recherche bibliografischer Metadaten innerhalb der von Crossref erfassten Publikationen.
  • PubMed – Identifikation und Überprüfung biomedizinischer Publikationen.

Nicht jede wissenschaftliche Publikation verfügt über einen DOI oder eine PMID. Das Fehlen eines dieser Identifikatoren ist deshalb nicht automatisch ein Hinweis auf eine erfundene Publikation.

Umgekehrt stellt das Vorhandensein eines DOI oder einer PMID keinen Nachweis der wissenschaftlichen Qualität einer Publikation dar.

Warum ein korrekter DOI nicht ausreicht

Ein Sprachmodell kann einen tatsächlich existierenden DOI in Verbindung mit einem falschen Artikeltitel oder einer unzutreffenden medizinischen Aussage verwenden.

Deshalb muss nach dem Öffnen der entsprechenden Quelle auch überprüft werden, ob die bibliografischen Angaben und wissenschaftlichen Inhalte übereinstimmen.

Insbesondere sollten die folgenden Aspekte berücksichtigt werden:

  • Übereinstimmung von Artikeltitel und Autoren.
  • Korrekte Zuordnung des DOI beziehungsweise der PMID.
  • Übereinstimmung von Studienpopulation und Studiendesign.
  • Korrekte Wiedergabe numerischer Studienergebnisse.
  • Berücksichtigung der von den Autoren beschriebenen Limitationen.
  • Tatsächliche Unterstützung der medizinischen Aussage durch die zitierte Publikation.

Bei der wissenschaftlichen Überprüfung konkreter Aussagen sollte die entsprechende Textstelle innerhalb der Publikation identifiziert werden können. Dies betrifft insbesondere numerische Studienergebnisse, Aussagen zur diagnostischen Genauigkeit und therapeutische Empfehlungen.

Berichtigungen und zurückgezogene Publikationen

Auch tatsächlich existierende wissenschaftliche Arbeiten können nach ihrer Veröffentlichung korrigiert oder zurückgezogen worden sein.

Daher sollte insbesondere bei Publikationen, die für eine wissenschaftliche Schlussfolgerung von zentraler Bedeutung sind, geprüft werden, ob nachträgliche Berichtigungen, Hinweise auf wissenschaftliche Bedenken oder Retraktionen vorliegen [2].

Mögliche Informationsquellen sind die Originalpublikation auf der Website des Verlages, zugehörige bibliografische Datenbankeinträge und gegebenenfalls verknüpfte Aktualisierungs- oder Retraktionshinweise.

Eine Literaturangabe sollte folglich nicht ausschliesslich als statischer bibliografischer Datensatz betrachtet werden.

Bei zurückgezogenen Publikationen muss der Grund der Retraktion berücksichtigt werden. Ihre Ergebnisse dürfen nicht unkritisch als weiterhin gültige wissenschaftliche Evidenz verwendet werden.

Unabhängigkeit der wissenschaftlichen Überprüfung

Eine erneute Anfrage an dasselbe Sprachmodell, ob die zuvor genannten Literaturangaben korrekt seien, stellt für sich genommen keine unabhängige Quellenprüfung dar.

Auch die Bestätigung einer Literaturangabe durch ein anderes Sprachmodell ist nicht ausreichend, wenn keines der beiden Systeme auf die tatsächliche wissenschaftliche Publikation zugreift.

Die Überprüfung muss anhand geeigneter externer Informationsquellen beziehungsweise der wissenschaftlichen Originalpublikation erfolgen.

Methodisch strukturierte Diskussionen aus unterschiedlichen Betrachtungsperspektiven können bei der Identifikation möglicher Fehler unterstützen. Ihre Möglichkeiten und Einschränkungen werden im Beitrag KI als virtuelle Expertenrunde näher erläutert.

Merksatz: Die Bestätigung einer KI-generierten Literaturangabe durch künstliche Intelligenz ersetzt keine Überprüfung anhand der tatsächlichen wissenschaftlichen Quelle.

Abstract, Volltext und Sekundärquelle

Bei der KI-gestützten Literaturrecherche ist häufig nicht unmittelbar erkennbar, auf welche Teile einer wissenschaftlichen Publikation die Anwendung tatsächlich Zugriff hatte.

Ein Sprachmodell kann beispielsweise den Titel und das Abstract einer Studie gefunden haben, ohne auf den vollständigen Artikel, die ergänzenden Materialien oder das Studienprotokoll zugreifen zu können.

Auch die technische Möglichkeit, einen Link zur Originalpublikation anzugeben, bedeutet nicht zwangsläufig, dass der entsprechende Volltext tatsächlich eingesehen und verarbeitet wurde.

Für eine nachvollziehbare wissenschaftliche Recherche sollte deshalb bei jeder relevanten Publikation dokumentiert werden, welche Informationen tatsächlich zugänglich waren und auf welcher Grundlage die wissenschaftliche Aussage formuliert wurde.

Unterschiedliche Ebenen des Quellenzugangs

Quellenzugang Verfügbare Informationen Limitationen
Bibliografischer Datensatz Titel, Autoren, Zeitschrift und Publikationsdaten. Keine ausreichende Beurteilung der wissenschaftlichen Ergebnisse.
Abstract Zusammenfassung zentraler Methoden und Ergebnisse. Begrenzte Informationen zu Methodik, Nebenergebnissen, Verzerrungsrisiken und Limitationen.
Originalvolltext Ausführlichere Beschreibung von Methodik, Ergebnissen und Diskussion. Ergänzende Materialien, Studienprotokolle oder Originaldaten können weiterhin fehlen.
Sekundärquelle Aufbereitung oder Zusammenfassung bereits publizierter Erkenntnisse. Abhängigkeit von der Auswahl, Qualität und Interpretation der zugrunde liegenden Originalarbeiten.

Die Unterscheidung zwischen diesen Informationsquellen beschreibt zunächst die Art des Quellenzugangs. Sie stellt keine allgemeine Hierarchie wissenschaftlicher Evidenz dar.

Eine methodisch hochwertige systematische Übersichtsarbeit kann zur Beantwortung einer Fragestellung eine wesentlich umfassendere Evidenzgrundlage bieten als eine einzelne Originalstudie.

Dennoch muss bei konkreten Aussagen erkennbar bleiben, auf welche Quelle sich diese tatsächlich beziehen und ob die zugrunde liegenden Originalarbeiten eingesehen wurden.

Welche Einschränkungen ergeben sich bei ausschliesslichem Abstract-Zugang?

Wissenschaftliche Abstracts ermöglichen häufig eine erste Orientierung über die Fragestellung, die wesentlichen methodischen Aspekte und die zentralen Ergebnisse einer Untersuchung.

Sie enthalten jedoch nicht zwangsläufig alle Informationen, die für eine zuverlässige wissenschaftliche Bewertung erforderlich sind.

Beispielsweise können detaillierte Ein- und Ausschlusskriterien, ergänzende statistische Analysen, unerwünschte Ereignisse oder methodische Limitationen im Abstract nur unvollständig beschrieben sein.

Auch die differenzierte Interpretation von Subgruppenanalysen und sekundären Endpunkten kann ohne Einsicht in den Originalvolltext erheblich eingeschränkt sein.

Eine auf dem Abstract basierende Zusammenfassung sollte deshalb ausdrücklich als solche gekennzeichnet werden. Nicht zugängliche Informationen dürfen nicht durch vermeintlich plausible Annahmen ergänzt werden.

Analyse wissenschaftlicher PDF-Dokumente

Eine besonders nützliche Anwendung künstlicher Intelligenz kann die strukturierte Analyse eines bereitgestellten wissenschaftlichen Originalartikels sein.

Allerdings garantiert auch das Hochladen einer PDF-Datei nicht, dass sämtliche Inhalte fehlerfrei erfasst werden.

Insbesondere Tabellen, komplexe Abbildungen, mathematische Formeln und ergänzende Materialien können unvollständig oder fehlerhaft verarbeitet werden.

Dies betrifft beispielsweise:

  • Die Zuordnung numerischer Ergebnisse zu den entsprechenden Studiengruppen.
  • Die korrekte Interpretation von Tabellenüberschriften und Fussnoten.
  • Die Unterscheidung absoluter und relativer Effektgrössen.
  • Die Erfassung von Konfidenzintervallen und statistischen Signifikanzwerten.
  • Die Interpretation grafischer Darstellungen wie Kaplan-Meier-Kurven und Forest Plots.
  • Die Zuordnung ergänzender Materialien zur wissenschaftlichen Originalpublikation.

Bei wissenschaftlich oder klinisch relevanten Zahlenangaben empfiehlt sich deshalb eine unmittelbare Gegenüberstellung der KI-generierten Zusammenfassung mit der entsprechenden Tabelle, Abbildung oder Textpassage des Originalartikels.

Geeigneter Arbeitsauftrag für eine PDF-Analyse

Beispielprompt:

Analysieren Sie ausschliesslich den bereitgestellten wissenschaftlichen Originalartikel. Prüfen Sie zunächst, welche Teile des Dokuments tatsächlich zugänglich und lesbar sind.

Extrahieren Sie die Studienpopulation, das Studiendesign, die untersuchten Interventionen, die primären und sekundären Endpunkte, die wichtigsten numerischen Ergebnisse und die methodischen Limitationen.

Verweisen Sie bei jeder zentralen Aussage auf den entsprechenden Abschnitt, die Seite oder die Tabelle der Publikation. Unterscheiden Sie ausdrücklich zwischen den von den Autoren berichteten Ergebnissen und Ihrer eigenen methodischen Interpretation.

Kennzeichnen Sie alle Informationen, die nicht eindeutig aus dem Dokument hervorgehen. Weisen Sie auf unvollständig lesbare Tabellen, Abbildungen oder fehlende ergänzende Materialien hin. Ergänzen Sie keine fehlenden Studieninformationen durch Vermutungen.

Die jeweiligen Nutzungsrechte sowie mögliche vertrauliche Inhalte eines Dokuments müssen vor der Übermittlung an externe KI-Anwendungen berücksichtigt werden.

Dies betrifft insbesondere unveröffentlichte wissenschaftliche Manuskripte, vertrauliche Forschungsunterlagen und Dokumente mit personenbezogenen medizinischen Informationen.

Die entsprechenden datenschutzrechtlichen und organisatorischen Voraussetzungen werden im Beitrag KI – Datenschutz und ärztliche Verantwortung ausführlich erläutert.

Merksatz: Die Aussage «wissenschaftliche Quelle überprüft» ist nur dann ausreichend nachvollziehbar, wenn auch dokumentiert wird, welche Teile der Quelle tatsächlich eingesehen und welche wissenschaftlichen Aussagen überprüft wurden.

Die Bewertung medizinischer Evidenz

Die Identifikation einer wissenschaftlichen Publikation beantwortet noch nicht die Frage nach der Qualität ihrer Evidenz.

Entscheidend ist insbesondere, ob das verwendete Studiendesign zur Beantwortung der medizinischen Fragestellung geeignet ist und ob die Untersuchung methodisch angemessen durchgeführt wurde.

Dabei sollte zwischen der methodischen Qualität einer einzelnen wissenschaftlichen Studie und der Vertrauenswürdigkeit der Gesamtheit der wissenschaftlichen Evidenz zu einer bestimmten Fragestellung unterschieden werden.

Wichtige wissenschaftliche Studiendesigns

Studientyp Typische Fragestellung Wichtige Limitationen
Systematischer Review / Metaanalyse Systematische Zusammenführung und gegebenenfalls quantitative Synthese wissenschaftlicher Erkenntnisse. Qualität der eingeschlossenen Studien, Heterogenität, methodische Durchführung und Publikationsbias.
Randomisierte kontrollierte Studie Wirksamkeit und mögliche unerwünschte Auswirkungen medizinischer Interventionen. Methodische Durchführung, mögliche Verzerrungsrisiken und Übertragbarkeit auf andere Patientenpopulationen.
Kohortenstudie Prognose, Risikofaktoren und längerfristige Zusammenhänge. Confounding, Selektionsverzerrungen und gegebenenfalls unvollständige Verlaufsbeobachtung.
Fall-Kontroll-Studie Mögliche Risikofaktoren einer Erkrankung, insbesondere bei seltenen Erkrankungen. Erinnerungsbias, Selektionsbias und Confounding.
Diagnostische Genauigkeitsstudie Diagnostische Leistungsfähigkeit eines Untersuchungsverfahrens. Patientenselektion, Referenzstandard, diagnostische Schwellenwerte und mögliche Verifikationsverzerrungen.
Fallbericht / Fallserie Ungewöhnliche klinische Beobachtungen und Entwicklung neuer Hypothesen. Begrenzte Verallgemeinerbarkeit und fehlende kontrollierte Vergleichsgruppen.

Vereinfachte redaktionelle Übersicht. Die Eignung eines Studiendesigns ist von der jeweiligen wissenschaftlichen Fragestellung abhängig.

Warum die klassische Evidenzpyramide nicht immer ausreicht

Wissenschaftliche Studiendesigns werden häufig in Form einer Evidenzpyramide dargestellt. Dabei stehen systematische Reviews und randomisierte kontrollierte Studien typischerweise im oberen Bereich.

Eine ausschliesslich hierarchische Einordnung kann jedoch irreführend sein.

Bei prognostischen Fragestellungen können beispielsweise gut durchgeführte Kohortenstudien besonders geeignet sein. Für die Bewertung diagnostischer Verfahren spielen diagnostische Genauigkeitsstudien eine zentrale Rolle.

Auch bei seltenen unerwünschten Wirkungen können Beobachtungsstudien oder einzelne klinische Beobachtungen wichtige wissenschaftliche Hinweise liefern.

Darüber hinaus ist eine methodisch mangelhafte Metaanalyse nicht zwangsläufig aussagekräftiger als eine hochwertige Einzelstudie.

Eine Metaanalyse stellt zunächst ein statistisches Verfahren zur quantitativen Zusammenführung von Studienergebnissen dar. Ihre Aussagekraft hängt unter anderem von der Qualität und Vergleichbarkeit der eingeschlossenen Untersuchungen sowie von der Angemessenheit der verwendeten statistischen Verfahren ab.

Nicht jeder systematische Review enthält eine Metaanalyse. Umgekehrt gewährleistet die Durchführung einer Metaanalyse allein noch keine systematische und methodisch angemessene Literaturübersicht.

Verzerrungsrisiko und Vertrauenswürdigkeit der Evidenz

Bei der wissenschaftlichen Bewertung sollte zwischen dem Risiko systematischer Verzerrungen innerhalb einzelner Studien und der Vertrauenswürdigkeit der Gesamtevidenz unterschieden werden.

Für unterschiedliche Studiendesigns stehen spezifische Instrumente zur Bewertung methodischer Verzerrungsrisiken zur Verfügung.

Hierzu gehören beispielsweise RoB 2 für randomisierte Studien oder ROBINS-I für nicht randomisierte Interventionsstudien.

Für die strukturierte Beurteilung der Vertrauenswürdigkeit der Gesamtevidenz zu bestimmten Endpunkten wird unter anderem das GRADE-System (Grading of Recommendations Assessment, Development and Evaluation) verwendet.

Dabei können beispielsweise folgende Aspekte berücksichtigt werden:

  • Methodische Verzerrungsrisiken der zugrunde liegenden Studien.
  • Inkonsistenz zwischen unterschiedlichen Studienergebnissen.
  • Indirektheit der Evidenz hinsichtlich der interessierenden Fragestellung.
  • Statistische Unsicherheit beziehungsweise mangelnde Präzision der Ergebnisse.
  • Mögliche Verzerrungen durch selektive Veröffentlichung wissenschaftlicher Ergebnisse.

Die Anwendung solcher Bewertungsverfahren erfordert spezifische methodische Kenntnisse und einen ausreichenden Zugang zu den relevanten wissenschaftlichen Informationen.

Eine KI-generierte pauschale Einstufung einer wissenschaftlichen Publikation als «hochwertig», «evidenzbasiert» oder «methodisch zuverlässig» stellt keine formal durchgeführte Bewertung nach einem solchen Instrument dar.

Welche Aspekte sollte KI bei einer Studienanalyse berücksichtigen?

  • Angemessenheit des Studiendesigns.
  • Grösse und Zusammensetzung der Studienpopulation.
  • Ein- und Ausschlusskriterien.
  • Art und Eignung der Vergleichsgruppe.
  • Definition der primären und sekundären Endpunkte.
  • Vollständigkeit der Datenerhebung und Verlaufsbeobachtung.
  • Effektgrösse und statistische Unsicherheit.
  • Methodische Verzerrungsrisiken.
  • Übereinstimmung der berichteten Ergebnisse mit den vorab definierten Studienzielen.
  • Interessenkonflikte und Studienfinanzierung.
  • Übertragbarkeit der Ergebnisse auf den klinischen Alltag.

Künstliche Intelligenz kann diese Informationen strukturieren und mögliche methodische Probleme identifizieren.

Eine zuverlässige wissenschaftliche Qualitätsbewertung setzt jedoch weiterhin eine eigenständige fachliche und methodische Prüfung voraus.

Dabei muss auch berücksichtigt werden, dass bestimmte Informationen zur Beurteilung methodischer Verzerrungsrisiken möglicherweise nicht vollständig in der wissenschaftlichen Originalpublikation enthalten sind.

Merksatz: Die wissenschaftliche Aussagekraft einer Publikation ergibt sich nicht allein aus ihrem Studiendesign, sondern aus der Angemessenheit und Qualität ihrer methodischen Durchführung, der Zuverlässigkeit ihrer Ergebnisse und ihrer Relevanz für die konkrete Fragestellung.

KI und die Interpretation statistischer Ergebnisse

Die korrekte Wiedergabe statistischer Studienergebnisse stellt eine besondere Herausforderung dar.

Eine KI-generierte Zusammenfassung kann beispielsweise eine relative Risikoreduktion korrekt nennen, ohne deren tatsächliche klinische Bedeutung ausreichend zu erläutern.

Auch mathematisch korrekte Angaben können durch eine unvollständige oder unangemessene Darstellung zu einer verzerrten Einschätzung des therapeutischen Nutzens oder der diagnostischen Leistungsfähigkeit führen.

Relative und absolute Risikoreduktion

Die Bedeutung dieser Unterscheidung lässt sich anhand eines rein hypothetischen Studienbeispiels verdeutlichen.

Angenommen, in einer klinischen Untersuchung wird die Häufigkeit eines unerwünschten klinischen Ereignisses innerhalb eines definierten Beobachtungszeitraumes zwischen einer Kontrollgruppe und einer Interventionsgruppe verglichen.

FIKTIVES STUDIENBEISPIEL

Kontrollgruppe

10 %

100 Ereignisse bei 1000 Personen

Interventionsgruppe

8 %

80 Ereignisse bei 1000 Personen

↓

20 %

Relative Risikoreduktion

2 %

Absolute Risikoreduktion (2 Prozentpunkte)

50

Number Needed to Treat (NNT)

Eigene didaktische Darstellung mit frei gewählten Zahlen. Keine reale klinische Studie. Die NNT ist ein rechnerischer Punktschätzer und bezieht sich auf das hypothetische Ereignis, die angenommene Studienpopulation und den jeweils gleichen Beobachtungszeitraum.

Während die relative Risikoreduktion 20 % beträgt, ergibt sich eine absolute Risikoreduktion von lediglich zwei Prozentpunkten.

Beide Angaben sind mathematisch korrekt, können jedoch einen unterschiedlichen Eindruck von der klinischen Bedeutung der Intervention vermitteln.

Berechnung der unterschiedlichen Effektgrössen

  • Relatives Risiko (RR): 0,08 / 0,10 = 0,80.
  • Relative Risikoreduktion (RRR): 1 − 0,80 = 0,20 beziehungsweise 20 %.
  • Absolute Risikoreduktion (ARR): 0,10 − 0,08 = 0,02 beziehungsweise zwei Prozentpunkte.
  • Number Needed to Treat (NNT): 1 / 0,02 = 50.

Unter der Annahme eines tatsächlich kausalen Interventionseffektes müssten in diesem hypothetischen Beispiel durchschnittlich 50 Personen über den entsprechenden Beobachtungszeitraum behandelt werden, um gegenüber der Kontrollintervention ein zusätzliches unerwünschtes Ereignis zu verhindern.

Die NNT darf dabei nicht als Garantie eines individuellen Behandlungserfolges interpretiert werden. Sie hängt insbesondere vom Ausgangsrisiko, von der Effektgrösse, der untersuchten Population und dem Beobachtungszeitraum ab.

Auch die statistische Unsicherheit der zugrunde liegenden Effektgrösse muss berücksichtigt werden.

Aus den dargestellten Punktschätzern allein kann nicht abgeleitet werden, dass die Intervention einen statistisch gesicherten oder klinisch ausreichend relevanten Nutzen besitzt.

Statistische Signifikanz und klinische Relevanz

Ein statistisch signifikantes Studienergebnis muss nicht zwangsläufig eine klinisch relevante Verbesserung darstellen.

Umgekehrt bedeutet ein statistisch nicht signifikantes Ergebnis nicht automatisch, dass eine Intervention unwirksam ist.

Eine fehlende statistische Signifikanz kann beispielsweise auch mit einer unzureichenden statistischen Präzision oder einer zu kleinen Studienpopulation zusammenhängen.

Für die Interpretation müssen insbesondere die Effektgrösse, das Konfidenzintervall, die Studienpopulation und die klinische Bedeutung des untersuchten Endpunktes berücksichtigt werden.

Ein breites Konfidenzintervall kann darauf hinweisen, dass sowohl ein klinisch relevanter Nutzen als auch ein geringer Nutzen oder gegebenenfalls eine nachteilige Wirkung mit den erhobenen Daten vereinbar sind.

Auch der p-Wert sollte nicht isoliert interpretiert werden. Er beschreibt weder unmittelbar die Wahrscheinlichkeit der Richtigkeit einer wissenschaftlichen Hypothese noch die klinische Bedeutung eines beobachteten Effektes.

Besonderheiten diagnostischer Studien

Bei der Analyse diagnostischer Untersuchungen ergeben sich zusätzliche Anforderungen an die Interpretation statistischer Ergebnisse.

Die diagnostische Leistungsfähigkeit eines Verfahrens wird häufig anhand von Sensitivität, Spezifität, prädiktiven Werten oder der Fläche unter einer ROC-Kurve beschrieben.

Diese Kennzahlen beantworten jedoch unterschiedliche wissenschaftliche Fragestellungen.

Insbesondere hängen der positive und der negative prädiktive Wert von der Prävalenz der untersuchten Erkrankung innerhalb der betreffenden Population beziehungsweise vom individuellen Ausgangsrisiko ab.

Eine diagnostische Untersuchung kann deshalb in einer spezialisierten klinischen Population eine andere praktische Bedeutung besitzen als bei ihrer Anwendung im Rahmen eines Screenings oder in der hausärztlichen Grundversorgung.

Darüber hinaus ist eine hohe diagnostische Genauigkeit nicht automatisch mit einer Verbesserung patientenrelevanter klinischer Ergebnisse gleichzusetzen.

Bei der KI-gestützten Zusammenfassung diagnostischer Studien sollten daher insbesondere die untersuchte Population, der verwendete Referenzstandard, die diagnostischen Schwellenwerte und die statistische Unsicherheit der angegebenen Kennzahlen überprüft werden.

Weitere typische Interpretationsfehler

  • Verwechslung von Korrelation und Kausalität.
  • Gleichsetzung von Odds Ratio und relativem Risiko.
  • Gleichsetzung einer Hazard Ratio mit einer absoluten Risikoreduktion.
  • Unzureichende Berücksichtigung von Konfidenzintervallen.
  • Überinterpretation explorativer Subgruppenanalysen.
  • Unzureichende Berücksichtigung multipler statistischer Vergleiche.
  • Gleichsetzung von Surrogatendpunkten und patientenrelevanten Endpunkten.
  • Unzulässige Verallgemeinerung von Studienergebnissen.
  • Fehlende Unterscheidung zwischen statistischer Signifikanz und klinischer Relevanz.
  • Interpretation eines nicht signifikanten Ergebnisses als Nachweis der Gleichwertigkeit zweier Interventionen.

Künstliche Intelligenz kann bei der Erklärung statistischer Zusammenhänge und der strukturierten Aufbereitung wissenschaftlicher Ergebnisse unterstützen.

Die verwendeten Zahlen, gegebenenfalls durchgeführte Berechnungen und die daraus abgeleiteten Schlussfolgerungen müssen jedoch unabhängig überprüft werden.

Merksatz: Bei einer KI-generierten Studienzusammenfassung müssen nicht nur die wiedergegebenen Zahlen, sondern auch deren statistische und klinische Interpretation überprüft werden.

Verzerrungen bei der KI-gestützten Literaturrecherche

Neben den methodischen Verzerrungen innerhalb wissenschaftlicher Studien können zusätzliche Verzerrungen während der Literaturrecherche und der automatisierten Informationsverarbeitung entstehen.

Diese Verzerrungen sind insbesondere deshalb relevant, weil eine sprachlich überzeugende KI-generierte Zusammenfassung den Eindruck vermitteln kann, die verfügbare wissenschaftliche Evidenz sei vollständig und ausgewogen berücksichtigt worden.

Tatsächlich können sowohl die Auswahl der Informationsquellen als auch die Formulierung der Anfrage und die anschliessende Verarbeitung der gefundenen Informationen das erzielte Ergebnis beeinflussen.

Selektionsbias

Eine KI-Anwendung kann nur einen begrenzten Teil der relevanten wissenschaftlichen Literatur identifizieren.

Welche Publikationen gefunden werden, hängt unter anderem von den verwendeten Datenquellen, Suchstrategien und Rankingverfahren ab.

Eine thematisch überzeugende Zusammenfassung kann deshalb auf einer unvollständigen Auswahl wissenschaftlicher Arbeiten beruhen.

Auch eine hohe Anzahl identifizierter Publikationen stellt für sich genommen keinen Nachweis dar, dass die wichtigsten wissenschaftlichen Untersuchungen tatsächlich berücksichtigt wurden.

Publikationsbias

Studien mit positiven oder statistisch signifikanten Ergebnissen können häufiger veröffentlicht werden als Untersuchungen ohne entsprechende Ergebnisse.

Eine Literaturrecherche, die ausschliesslich publizierte Arbeiten berücksichtigt, kann dadurch ein verzerrtes Bild der verfügbaren Evidenz liefern.

Darüber hinaus können innerhalb einzelner Publikationen bestimmte Ergebnisse ausführlicher dargestellt werden als andere.

Bei umfassenden wissenschaftlichen Recherchen können Studienregister, Studienprotokolle und ergänzende wissenschaftliche Materialien zusätzliche Informationen liefern.

Allerdings kann auch ihre Berücksichtigung das Risiko selektiv verfügbarer wissenschaftlicher Ergebnisse nicht vollständig ausschliessen.

Verfügbarkeitsbias

KI-Anwendungen können bestimmte Publikationen leichter verarbeiten, wenn diese frei zugänglich oder besonders gut digital erschlossen sind.

Nicht frei verfügbare oder technisch schwer zugängliche Originalarbeiten können bei der automatisierten Zusammenstellung unterrepräsentiert bleiben.

Die technische Verfügbarkeit einer wissenschaftlichen Publikation steht jedoch nicht zwangsläufig in einem Zusammenhang mit ihrer methodischen Qualität oder ihrer klinischen Relevanz.

Auch sprachliche Einschränkungen der Recherche und eine ungleiche Repräsentation wissenschaftlicher Zeitschriften in den verwendeten Datenquellen können die Zusammenstellung der verfügbaren Informationen beeinflussen.

Confirmation Bias und Sycophancy

Auch die Formulierung der Anfrage kann die Auswahl und Darstellung wissenschaftlicher Informationen beeinflussen.

Wird ein Sprachmodell beispielsweise gebeten, wissenschaftliche Belege für die Wirksamkeit einer bestimmten Therapie zu finden, kann die Recherche einseitig auf unterstützende Ergebnisse ausgerichtet werden.

Dabei können wissenschaftliche Publikationen mit negativen oder nicht eindeutigen Ergebnissen unzureichend berücksichtigt werden.

Ein Sprachmodell kann darüber hinaus dazu tendieren, bereits formulierte Annahmen des Anwenders zu bestätigen oder seine Antwort an dessen vermeintlichen Erwartungen auszurichten.

Dieses als Sycophancy bezeichnete Verhalten kann insbesondere bei wissenschaftlichen Fragestellungen problematisch sein.

Einseitig formulierte Anfrage

Finden Sie wissenschaftliche Studien, welche die Wirksamkeit dieser Therapie belegen.

Ergebnisoffene Anfrage

Untersuchen Sie die verfügbare wissenschaftliche Evidenz zur Wirksamkeit und Sicherheit dieser Therapie. Berücksichtigen Sie positive, negative und nicht eindeutige Studienergebnisse sowie mögliche methodische Limitationen.

Eine ergebnisoffene Formulierung kann dazu beitragen, die Recherche weniger stark durch bereits bestehende Annahmen zu beeinflussen.

Sie garantiert jedoch keine vollständige oder verzerrungsfreie Auswahl wissenschaftlicher Publikationen.

Die Recherche muss deshalb gegebenenfalls durch die unabhängige Verwendung wissenschaftlicher Datenbanken, alternative Suchstrategien und die gezielte Suche nach widersprechenden Studienergebnissen ergänzt werden.

Die zugrunde liegenden kognitiven und technologischen Mechanismen werden im Beitrag Wenn KI uns recht gibt – Confirmation Bias und Sycophancy ausführlich erläutert.

Wie lassen sich mögliche Verzerrungen reduzieren?

  • Die wissenschaftliche Fragestellung vor Beginn der Recherche ergebnisoffen formulieren.
  • Die Auswahlkriterien für relevante wissenschaftliche Publikationen nachvollziehbar definieren.
  • Unterschiedliche geeignete wissenschaftliche Informationsquellen berücksichtigen.
  • Gezielt nach widersprechenden und nicht eindeutigen Studienergebnissen suchen.
  • Nutzen und mögliche unerwünschte Auswirkungen medizinischer Interventionen gemeinsam beurteilen.
  • Die Auswahl und Gewichtung der berücksichtigten Studien überprüfen.
  • Methodische Unsicherheiten und mögliche Interessenkonflikte ausdrücklich berücksichtigen.
  • Erkannte Einschränkungen der Literaturrecherche transparent dokumentieren.

Merksatz: Ziel einer wissenschaftlichen Literaturrecherche ist nicht die Bestätigung einer bereits bestehenden medizinischen Überzeugung, sondern die möglichst ergebnisoffene Identifikation und Beurteilung der verfügbaren wissenschaftlichen Evidenz.

KI und systematische Literaturübersichten

Die schnelle Zusammenfassung mehrerer wissenschaftlicher Publikationen durch künstliche Intelligenz darf nicht mit der Erstellung eines systematischen Reviews gleichgesetzt werden.

Ein systematischer Review erfordert einen definierten, transparenten und nachvollziehbaren methodischen Prozess.

Hierzu gehören insbesondere eine präzise Fragestellung, vorab definierte Auswahlkriterien, eine umfassende Suchstrategie, die strukturierte Auswahl relevanter Studien und die Bewertung ihrer methodischen Qualität [2].

Die systematische Zusammenführung der wissenschaftlichen Ergebnisse setzt darüber hinaus eine angemessene Berücksichtigung möglicher Verzerrungsrisiken, methodischer Unterschiede und statistischer Unsicherheiten voraus.

Künstliche Intelligenz kann unterschiedliche Arbeitsschritte innerhalb dieses Prozesses unterstützen. Die Anwendung eines Sprachmodells allein erfüllt jedoch nicht die methodischen Anforderungen eines systematischen Reviews.

Orientierende und systematische Literaturrecherche

Merkmal Orientierende Recherche Systematischer Review
Zielsetzung Rascher Überblick und klinische Orientierung. Methodisch nachvollziehbare Erfassung und Bewertung relevanter Evidenz.
Suchstrategie Situationsabhängig und häufig begrenzt. Vorab geplant, umfassend und dokumentiert.
Studienauswahl Orientierende Auswahl relevanter Publikationen. Definierte Ein- und Ausschlusskriterien sowie nachvollziehbare Auswahlverfahren.
Qualitätsbewertung Abhängig von Fragestellung und Verwendungszweck. Strukturierte methodische Bewertung und Beurteilung relevanter Verzerrungsrisiken.
Dokumentation Dokumentation entsprechend dem vorgesehenen Verwendungszweck. Nachvollziehbare Dokumentation der Suchstrategien, Auswahlverfahren und wissenschaftlichen Synthese.
Rolle der KI Unterstützung bei Suche und Zusammenfassung. Methodisch kontrollierte und transparent dokumentierte Unterstützung einzelner Arbeitsschritte.

Eine orientierende Literaturrecherche kann im ärztlichen Alltag einen erheblichen praktischen Nutzen besitzen. Nicht jede klinische Fragestellung erfordert die Durchführung eines vollständigen systematischen Reviews.

Entscheidend ist jedoch, dass die tatsächlich angewandte Recherchemethodik korrekt bezeichnet und hinsichtlich ihrer Möglichkeiten und Einschränkungen transparent dargestellt wird.

Mögliche Einsatzbereiche künstlicher Intelligenz innerhalb systematischer Reviews

Künstliche Intelligenz kann beispielsweise bei der Entwicklung von Suchstrategien, der Erkennung potenziell relevanter Publikationen, der Priorisierung von Datensätzen und der strukturierten Extraktion wissenschaftlicher Informationen unterstützen.

Auch die sprachliche Aufbereitung und tabellarische Gegenüberstellung wissenschaftlicher Studien kann durch entsprechende Anwendungen erleichtert werden.

Besondere Vorsicht ist jedoch bei automatisierten Entscheidungen über den Ein- oder Ausschluss wissenschaftlicher Publikationen erforderlich.

Werden relevante Studien durch ein automatisiertes Auswahlverfahren unbeabsichtigt ausgeschlossen, kann dies die wissenschaftliche Aussagekraft des gesamten Reviews beeinträchtigen.

Entsprechende Verfahren müssen deshalb hinsichtlich ihrer Eignung für die konkrete wissenschaftliche Fragestellung beurteilt und durch geeignete Kontrollmassnahmen abgesichert werden.

Bei der Extraktion wissenschaftlicher Daten ist insbesondere zu überprüfen, ob die automatisiert erfassten Informationen den tatsächlichen Angaben der Originalpublikationen entsprechen.

PRISMA 2020

PRISMA steht für Preferred Reporting Items for Systematic Reviews and Meta-Analyses.

Die PRISMA-2020-Empfehlungen dienen der transparenten Berichterstattung über systematische Reviews [4].

Sie unterstützen insbesondere die nachvollziehbare Dokumentation der wissenschaftlichen Fragestellung, der Suchmethodik, der Studienauswahl, der Bewertung methodischer Verzerrungsrisiken und der Zusammenführung wissenschaftlicher Ergebnisse.

PRISMA stellt dabei primär einen Berichtsstandard dar und ist nicht mit einem vollständigen methodischen Handbuch zur Durchführung oder einem Instrument zur Qualitätsbewertung systematischer Reviews gleichzusetzen.

Auch die Verwendung eines PRISMA-Flussdiagramms stellt für sich genommen keinen Nachweis einer methodisch hochwertigen systematischen Literaturübersicht dar.

Für die Planung und Durchführung systematischer Literaturübersichten stehen unter anderem die ausführlichen methodischen Empfehlungen des Cochrane Handbook zur Verfügung [2].

PRISMA-S – Dokumentation wissenschaftlicher Suchstrategien

PRISMA-S ist eine Erweiterung der PRISMA-Empfehlungen zur transparenten Berichterstattung über wissenschaftliche Literaturrecherchen innerhalb systematischer Reviews [6].

Die Erweiterung umfasst 16 Kriterien zur Dokumentation der verwendeten Informationsquellen und Suchverfahren.

Hierzu gehören unter anderem Angaben zu den verwendeten wissenschaftlichen Datenbanken und Rechercheplattformen, den vollständigen Suchstrategien, zeitlichen oder anderen Einschränkungen und dem Zeitpunkt der Recherche.

Auch ergänzende Suchverfahren und die Verarbeitung der identifizierten bibliografischen Datensätze sollen nachvollziehbar beschrieben werden.

Für KI-gestützte wissenschaftliche Arbeitsprozesse sind diese Grundsätze von besonderer Bedeutung.

Die Angabe, eine Literaturrecherche sei mithilfe eines bestimmten Sprachmodells durchgeführt worden, beschreibt noch keine ausreichend nachvollziehbare wissenschaftliche Suchstrategie.

Dokumentation des KI-Einsatzes

Bei wissenschaftlichen Arbeitsprozessen sollte nachvollziehbar dokumentiert werden, für welche konkreten Aufgaben künstliche Intelligenz eingesetzt wurde.

Je nach Anwendungsbereich können insbesondere die folgenden Angaben relevant sein:

  • Verwendete KI-Anwendung und, soweit bekannt, Modell beziehungsweise Modellversion.
  • Zeitpunkt der Nutzung.
  • Konkrete Aufgabe innerhalb des wissenschaftlichen Arbeitsprozesses.
  • Verwendete Arbeitsanweisungen und relevante Einstellungen.
  • Tatsächlich durchsuchte wissenschaftliche Informationsquellen.
  • Gegebenenfalls verwendete automatisierte Auswahl- oder Extraktionsverfahren.
  • Methoden zur Überprüfung der KI-generierten Ergebnisse.
  • Erkannte Fehler, Einschränkungen und vorgenommene Korrekturen.

Eine solche Dokumentation kann die Transparenz wissenschaftlicher Arbeitsprozesse verbessern. Sie gewährleistet jedoch nicht zwangsläufig die vollständige Reproduzierbarkeit KI-generierter Ergebnisse.

Insbesondere bei extern betriebenen Sprachmodellen können technische Veränderungen, aktualisierte Datenquellen und Unterschiede zwischen einzelnen Modellantworten die Reproduzierbarkeit einschränken.

Die jeweils geltenden redaktionellen Anforderungen wissenschaftlicher Fachzeitschriften und die institutionellen Vorgaben zur Verwendung künstlicher Intelligenz müssen zusätzlich berücksichtigt werden.

Wichtig: Eine KI-generierte Zusammenfassung wissenschaftlicher Publikationen ist kein systematischer Review, nur weil mehrere Literaturangaben aufgeführt, die Ergebnisse in einer übersichtlichen Tabelle dargestellt oder die identifizierten Publikationen in einem PRISMA-Flussdiagramm zusammengefasst werden.

Praxisbeispiel aus der Hausarztmedizin

Eine Ärztin möchte sich einen wissenschaftlich fundierten Überblick über die Bedeutung regelmässigen aeroben Ausdauertrainings bei Patienten mit arterieller Hypertonie verschaffen.

Hierfür soll künstliche Intelligenz als unterstützendes Werkzeug eingesetzt werden. Ziel ist nicht die unmittelbare Erstellung einer Therapieempfehlung, sondern die nachvollziehbare Aufbereitung der relevanten medizinischen Evidenz.

Dieses Beispiel verdeutlicht, wie künstliche Intelligenz in einen strukturierten wissenschaftlichen Arbeitsprozess integriert werden kann, ohne die Verantwortung für die wissenschaftliche Bewertung an ein Sprachmodell zu delegieren.

Weitere praktische Anwendungsmöglichkeiten werden im Beitrag Künstliche Intelligenz in der Hausarztpraxis ausführlich erläutert.

Ein strukturierter Rechercheprozess

Schritt 1 – Klinische Fragestellung präzisieren

Arbeitsauftrag an die KI: Formulieren Sie eine wissenschaftliche Fragestellung zur blutdrucksenkenden Wirkung regelmässigen aeroben Ausdauertrainings bei Erwachsenen mit arterieller Hypertonie nach dem PICO-Schema.

Berücksichtigen Sie die untersuchte Patientenpopulation, die Art der körperlichen Aktivität, geeignete Vergleichsinterventionen und klinisch relevante Endpunkte.

Kennzeichnen Sie gegebenenfalls zusätzliche Informationen, die für eine präzisere Eingrenzung der wissenschaftlichen Fragestellung erforderlich sind.

Ziel: Definition einer klar abgegrenzten, ergebnisoffenen und klinisch relevanten Recherchefrage.

Schritt 2 – Suchstrategie entwickeln

Arbeitsauftrag an die KI: Entwickeln Sie aus der definierten Fragestellung eine PubMed-Suchstrategie. Berücksichtigen Sie geeignete MeSH-Begriffe, englischsprachige Synonyme und mögliche Suchvarianten.

Verknüpfen Sie die Suchbegriffe mithilfe geeigneter Boolescher Operatoren. Kennzeichnen Sie alle vorgeschlagenen kontrollierten Schlagwörter, deren Existenz oder Eignung noch nicht überprüft wurde.

Erläutern Sie, welche zusätzlichen Suchfilter möglicherweise sinnvoll sind und welche Einschränkungen zu einem unbeabsichtigten Ausschluss relevanter Publikationen führen könnten.

Ziel: Formulierung einer nachvollziehbaren und überprüfbaren wissenschaftlichen Suchanfrage.

Schritt 3 – Literatur tatsächlich recherchieren

Arbeitsauftrag: Führen Sie die Suche in PubMed und gegebenenfalls weiteren geeigneten Datenbanken durch. Identifizieren Sie aktuelle systematische Reviews, relevante Originalarbeiten und gegebenenfalls medizinische Leitlinien.

Berücksichtigen Sie neben aktuellen Publikationen auch ältere wissenschaftliche Arbeiten, sofern diese für die Fragestellung weiterhin von wesentlicher Bedeutung sind.

Dokumentieren Sie die tatsächlich verwendeten Datenbanken, die ausgeführten Suchanfragen, das Recherchedatum und die gegebenenfalls angewendeten Einschränkungen.

Kontrolle: Falls die verwendete KI-Anwendung keinen entsprechenden Datenbankzugriff ermöglicht, muss die Recherche separat durchgeführt werden. Eine allgemeine Internetsuche darf nicht als tatsächlich ausgeführte PubMed-Recherche bezeichnet werden.

Schritt 4 – Wissenschaftliche Quellen analysieren

Arbeitsauftrag an die KI: Analysieren Sie die identifizierten und verifizierten Publikationen hinsichtlich ihrer Studienpopulation, Trainingsintervention, Vergleichsgruppe, Blutdruckmessung, Effektgrösse und methodischen Limitationen.

Berücksichtigen Sie insbesondere die Ausgangsblutdruckwerte, die Art der Blutdruckmessung, die Dauer und Intensität der Trainingsintervention sowie die begleitende antihypertensive Medikation.

Unterscheiden Sie zwischen den tatsächlich eingesehenen wissenschaftlichen Volltexten, Abstracts und ergänzenden Informationsquellen.

Geben Sie numerische Studienergebnisse mit ihren verfügbaren Konfidenzintervallen wieder und verweisen Sie möglichst auf die entsprechenden Textstellen, Tabellen oder Abbildungen der Originalpublikationen.

Ziel: Vergleich der wissenschaftlichen Studien auf einer nachvollziehbaren und überprüfbaren Informationsgrundlage.

Schritt 5 – Widersprüchliche Erkenntnisse berücksichtigen

Arbeitsauftrag an die KI: Identifizieren Sie Unterschiede und mögliche Widersprüche zwischen den Studien. Berücksichtigen Sie Unterschiede der Trainingsintensität, Studiendauer, Patientenpopulation und Ausgangsblutdruckwerte.

Prüfen Sie, ob abweichende Studienergebnisse möglicherweise durch unterschiedliche methodische Voraussetzungen, Begleitinterventionen oder statistische Unsicherheiten erklärt werden können.

Berücksichtigen Sie auch wissenschaftliche Untersuchungen, in denen keine statistisch signifikante Blutdrucksenkung festgestellt wurde.

Unterscheiden Sie zwischen nachgewiesenen Ursachen heterogener Studienergebnisse und lediglich plausiblen Erklärungsansätzen.

Ziel: Vermeidung einer undifferenzierten Zusammenfassung heterogener wissenschaftlicher Ergebnisse.

Schritt 6 – Klinische Relevanz beurteilen

Arbeitsauftrag an die KI: Stellen Sie die wissenschaftlichen Erkenntnisse differenziert zusammen. Trennen Sie gut belegte Ergebnisse, Hinweise aus begrenzter Evidenz und weiterhin ungeklärte Fragen.

Unterscheiden Sie zwischen statistischer Signifikanz und klinischer Relevanz. Berücksichtigen Sie mögliche unerwünschte Auswirkungen, die methodischen Limitationen der verfügbaren Untersuchungen und die Übertragbarkeit ihrer Ergebnisse auf unterschiedliche Patientenpopulationen.

Leiten Sie keine individuellen Therapieempfehlungen ab, die über die tatsächlich überprüfte wissenschaftliche Erkenntnisgrundlage hinausgehen.

Ärztliche Aufgabe: Überprüfen Sie die Originalquellen und beurteilen Sie unter Berücksichtigung aktueller medizinischer Empfehlungen, individueller Risikofaktoren und möglicher Kontraindikationen die Übertragbarkeit der Erkenntnisse auf den individuellen Patienten.

Fiktives Beispiel eines möglichen KI-gestützten Rechercheprozesses. Es wurde für dieses Beispiel keine eigenständige wissenschaftliche Recherche zur Wirksamkeit körperlichen Trainings durchgeführt. Entsprechend werden keine Therapieempfehlungen oder konkreten Studienergebnisse abgeleitet.

Der praktische Nutzen eines strukturierten Rechercheprozesses

Durch die Aufteilung der wissenschaftlichen Literaturrecherche in einzelne Arbeitsschritte wird nachvollziehbar, welche Aufgaben durch künstliche Intelligenz unterstützt werden und welche Aufgaben eine eigenständige wissenschaftliche beziehungsweise ärztliche Überprüfung erfordern.

Darüber hinaus ermöglicht die strukturierte Vorgehensweise, erkannte Fehler bereits während des Rechercheprozesses zu korrigieren, bevor sie in eine abschliessende medizinische Zusammenfassung übernommen werden.

Ein wesentlicher Vorteil liegt somit nicht ausschliesslich in einer möglichen Zeitersparnis, sondern auch in der bewussteren Strukturierung wissenschaftlicher Arbeitsprozesse.

Merksatz: Eine wissenschaftliche Literaturrecherche sollte nicht mit der Erstellung einer medizinischen Antwort beginnen, sondern mit der Definition einer überprüfbaren Fragestellung und eines nachvollziehbaren Rechercheprozesses.

Ein Masterprompt für die medizinische Literaturrecherche

Für regelmässig wiederkehrende wissenschaftliche Rechercheaufgaben kann es sinnvoll sein, einen standardisierten Arbeitsauftrag zu verwenden.

Ein solcher Masterprompt sollte nicht ausschliesslich das gewünschte Ergebnis definieren, sondern insbesondere die Anforderungen an die wissenschaftliche Vorgehensweise, die Quellenprüfung und den Umgang mit Unsicherheiten beschreiben.

Durch die Verwendung eines standardisierten Arbeitsauftrages können die Anforderungen an die wissenschaftliche Qualität für unterschiedliche medizinische Fragestellungen einheitlich formuliert werden.

Die methodischen Grundlagen entsprechender Arbeitsaufträge werden im Beitrag Vom Prompt zum Masterprompt ausführlich erläutert.

Der folgende Masterprompt kann als Ausgangspunkt für individuelle wissenschaftliche Rechercheaufgaben verwendet und entsprechend der jeweiligen medizinischen Fragestellung angepasst werden.

MASTERPROMPT – MEDIZINISCHE LITERATURRECHERCHE

01 – Rolle und Zielsetzung

Unterstützen Sie mich bei einer wissenschaftlich fundierten, ergebnisoffenen medizinischen Literaturrecherche. Ziel ist die nachvollziehbare Aufbereitung der verfügbaren Evidenz für medizinische Fachpersonen.

Arbeiten Sie wissenschaftlich präzise, methodisch nachvollziehbar und unabhängig von möglicherweise bereits bestehenden medizinischen Annahmen.

Geben Sie überprüfbaren wissenschaftlichen Erkenntnissen Vorrang gegenüber einer möglichst vollständigen oder sprachlich überzeugenden Antwort.

02 – Medizinische Fragestellung

[Hier die klinische oder wissenschaftliche Fragestellung einfügen.]

Präzisieren Sie die Fragestellung und strukturieren Sie diese, sofern geeignet, nach dem PICO-Schema.

Berücksichtigen Sie bei diagnostischen, prognostischen oder epidemiologischen Fragestellungen gegebenenfalls alternative methodische Strukturen.

Weisen Sie auf relevante Unklarheiten und fehlende Informationen hin. Stellen Sie keine unbegründeten Annahmen über die untersuchte Patientenpopulation oder den klinischen Anwendungskontext auf.

Unterscheiden Sie zwischen einer orientierenden wissenschaftlichen Recherche, einer vertieften Literaturrecherche und den methodischen Anforderungen eines systematischen Reviews.

03 – Recherche und Informationsquellen

  • Entwickeln Sie eine nachvollziehbare wissenschaftliche Suchstrategie.
  • Berücksichtigen Sie geeignete wissenschaftliche Datenbanken und aktuelle medizinische Leitlinien.
  • Identifizieren Sie relevante kontrollierte Schlagwörter, freie Suchbegriffe und alternative wissenschaftliche Bezeichnungen.
  • Überprüfen Sie nach Möglichkeit die Existenz und Eignung vorgeschlagener kontrollierter Schlagwörter.
  • Recherchieren Sie die Originalquellen tatsächlich, sofern ein entsprechender Zugriff besteht.
  • Unterscheiden Sie ausdrücklich zwischen einer allgemeinen Internetsuche und einer unmittelbar in einer wissenschaftlichen Datenbank ausgeführten Recherche.
  • Benennen Sie die tatsächlich verwendeten Datenbanken beziehungsweise Informationsquellen, die ausgeführten Suchanfragen, den Recherchezeitpunkt und relevante Einschränkungen der Suche.
  • Nennen Sie Trefferzahlen ausschliesslich dann, wenn diese tatsächlich erhoben wurden.
  • Berücksichtigen Sie neben aktuellen wissenschaftlichen Publikationen auch ältere grundlegende Arbeiten, sofern diese für die Fragestellung weiterhin relevant sind.
  • Falls kein entsprechender Recherchezugriff besteht, kennzeichnen Sie dies ausdrücklich und stellen Sie für die nicht zugänglichen Datenbanken lediglich eine geeignete Suchstrategie zur Verfügung.

Behaupten Sie nicht, eine wissenschaftliche Datenbank durchsucht zu haben, wenn tatsächlich lediglich eine allgemeine Internetsuche oder eine Antwortgenerierung auf Grundlage erlernter Informationen erfolgt ist.

04 – Wissenschaftliche Quellenprüfung

  • Verwenden Sie als überprüfte wissenschaftliche Quellen ausschliesslich tatsächlich existierende und eindeutig identifizierbare Publikationen.
  • Überprüfen Sie Autoren, Titel, Zeitschrift, Publikationsjahr und verfügbare Identifikatoren.
  • Geben Sie DOI und PMID nur an, wenn diese tatsächlich verifiziert wurden.
  • Überprüfen Sie, ob die Originalquelle die jeweilige wissenschaftliche Aussage unterstützt.
  • Unterscheiden Sie zwischen der bibliografischen Überprüfung und der inhaltlichen Überprüfung wissenschaftlicher Publikationen.
  • Berücksichtigen Sie verfügbare Hinweise auf Berichtigungen, wissenschaftliche Bedenken oder zurückgezogene Publikationen.
  • Kennzeichnen Sie nicht überprüfbare Informationen ausdrücklich.
  • Führen Sie nicht ausreichend überprüfte Publikationen, sofern diese für eine spätere Recherche relevant erscheinen, getrennt als noch zu überprüfende Recherchehinweise auf.

Verwenden Sie keine nicht verifizierten Literaturangaben als Beleg für medizinische Schlussfolgerungen.

05 – Transparenz des Quellenzugangs

Geben Sie für jede relevante Publikation an, ob Sie den wissenschaftlichen Volltext, ausgewählte Volltextabschnitte, lediglich das Abstract, einen bibliografischen Datensatz oder ausschliesslich eine Sekundärquelle einsehen konnten.

Kennzeichnen Sie gegebenenfalls nicht zugängliche Tabellen, Abbildungen, ergänzende Materialien oder Studienprotokolle.

Leiten Sie keine detaillierten methodischen oder numerischen Aussagen aus nicht eingesehenen Teilen einer Publikation ab.

Unterscheiden Sie zwischen einer tatsächlich durchgeführten inhaltlichen Prüfung und einer ausschliesslich bibliografischen Identifikation der Quelle.

06 – Wissenschaftliche Studienanalyse

Extrahieren Sie, soweit verfügbar, die folgenden Informationen:

  • Wissenschaftliche Fragestellung und Studiendesign.
  • Grösse und Zusammensetzung der Studienpopulation.
  • Ein- und Ausschlusskriterien.
  • Intervention beziehungsweise diagnostisches Verfahren und geeignete Vergleichsgruppe oder Referenzstandard.
  • Primäre und sekundäre Endpunkte.
  • Dauer der Untersuchung und gegebenenfalls der Nachbeobachtung.
  • Numerische Studienergebnisse mit Effektgrössen und Konfidenzintervallen.
  • Absolute und relative Effektgrössen, sofern verfügbar und für die Fragestellung relevant.
  • Methodische Limitationen und mögliche Verzerrungen.
  • Interessenkonflikte und Studienfinanzierung.

Verweisen Sie bei wichtigen Aussagen möglichst auf die entsprechende Tabelle, Abbildung oder Textstelle der Originalpublikation.

Kennzeichnen Sie zusätzlich durchgeführte eigene Berechnungen und erläutern Sie deren Ausgangsdaten und Berechnungsgrundlagen.

Ergänzen Sie fehlende Informationen nicht durch Vermutungen oder statistisch plausible Schätzwerte.

07 – Ergebnisoffene Evidenzbewertung

Berücksichtigen Sie positive, negative und nicht eindeutige Studienergebnisse. Identifizieren Sie widersprüchliche Erkenntnisse und mögliche Ursachen für Unterschiede zwischen den Studien.

Unterscheiden Sie zwischen statistischer Signifikanz, klinischer Relevanz und methodischer Aussagekraft.

Trennen Sie die Ergebnisse der Originalarbeiten von Ihrer eigenen Interpretation.

Berücksichtigen Sie mögliche Verzerrungsrisiken einzelner Studien sowie die Vertrauenswürdigkeit der Gesamtheit der verfügbaren wissenschaftlichen Evidenz.

Unterscheiden Sie zwischen einer orientierenden methodischen Einschätzung und einer formal durchgeführten Bewertung nach einem etablierten wissenschaftlichen Bewertungsinstrument.

Behaupten Sie nicht, eine vollständige Qualitätsbewertung oder systematische Evidenzbewertung durchgeführt zu haben, wenn die hierfür erforderlichen methodischen Voraussetzungen nicht erfüllt sind.

08 – Klinische Einordnung

Beurteilen Sie, inwieweit die jeweiligen Studienergebnisse auf den medizinischen Alltag und gegebenenfalls auf das Schweizer Gesundheitswesen übertragbar sein könnten.

Berücksichtigen Sie Unterschiede zwischen der untersuchten Studienpopulation und der klinisch relevanten Patientenpopulation.

Unterscheiden Sie zwischen wissenschaftlichen Studienergebnissen, aktuellen medizinischen Leitlinienempfehlungen und eigenen klinischen Schlussfolgerungen.

Berücksichtigen Sie gegebenenfalls die Aktualität nationaler Empfehlungen sowie Unterschiede hinsichtlich der Verfügbarkeit und Zulassung medizinischer Verfahren oder Arzneimittel.

Formulieren Sie die Schlussfolgerungen entsprechend der tatsächlichen Evidenzlage und vermeiden Sie unzulässige Verallgemeinerungen.

Leiten Sie keine individuellen diagnostischen oder therapeutischen Empfehlungen ab, wenn die erforderlichen klinischen Informationen nicht vorliegen.

09 – Darstellung der Ergebnisse

Strukturieren Sie die wissenschaftliche Ausarbeitung entsprechend der folgenden Gliederung:

  • Kurze Zusammenfassung der zentralen wissenschaftlichen Erkenntnisse.
  • Definition der medizinischen Fragestellung.
  • Beschreibung der tatsächlich durchgeführten Recherche.
  • Dokumentation der verwendeten Informationsquellen und Suchstrategien.
  • Tabellarische Übersicht relevanter Publikationen.
  • Angaben zum tatsächlich verfügbaren Quellenzugang.
  • Differenzierte Darstellung der Studienergebnisse.
  • Gegenüberstellung übereinstimmender und widersprüchlicher wissenschaftlicher Erkenntnisse.
  • Methodische Limitationen und offene Fragen.
  • Klinische Einordnung entsprechend der verfügbaren Evidenz.
  • Literaturverzeichnis im Vancouver-Stil mit verifizierten Quellenlinks.

Ordnen Sie zentrale wissenschaftliche Aussagen eindeutig den jeweils zugrunde liegenden Literaturreferenzen zu.

Kennzeichnen Sie alle selbst entwickelten didaktischen Darstellungen und fiktiven Berechnungsbeispiele ausdrücklich als solche.

10 – Abschliessende Qualitätskontrolle

Überprüfen Sie abschliessend die Übereinstimmung zwischen den medizinischen Aussagen und den jeweils zitierten Quellen.

Benennen Sie ausdrücklich alle nicht überprüfbaren Informationen, fehlenden Volltextzugänge, methodischen Unsicherheiten und noch erforderlichen Prüfungsschritte.

Überprüfen Sie die korrekte Wiedergabe von Studienpopulationen, numerischen Ergebnissen, Effektgrössen, statistischen Unsicherheiten und wissenschaftlichen Schlussfolgerungen.

Behaupten Sie niemals, eine Originalquelle eingesehen oder überprüft zu haben, wenn dies tatsächlich nicht erfolgt ist.

Erfinden Sie keine Publikationen, bibliografischen Angaben, Studienpopulationen, Trefferzahlen oder Studienergebnisse.

Erstellen Sie abschliessend einen kurzen wissenschaftlichen Prüfbericht mit Angaben zu den überprüften Quellen, dem tatsächlichen Quellenzugang, den erkannten Einschränkungen und den noch erforderlichen Arbeitsschritten.

Kennzeichnen Sie den abschliessenden Prüfstatus der Recherche anhand einer der folgenden Formulierungen:

  • Wissenschaftlich ausreichend geprüft – zur medizinisch-redaktionellen Freigabe vorgelegt.
  • Redaktioneller Entwurf – wissenschaftliche Prüfung noch nicht abgeschlossen.

Die erste Einstufung darf nur verwendet werden, wenn die für die konkrete Fragestellung wesentlichen wissenschaftlichen Aussagen tatsächlich anhand geeigneter zugänglicher Quellen überprüft wurden. Auch in diesem Fall bleibt eine abschliessende eigenständige fachliche Beurteilung durch die verantwortliche medizinische Fachperson erforderlich.

Eigener redaktioneller Masterprompt zur medizinischen Fortbildung. Der Arbeitsauftrag kann die Nachvollziehbarkeit des Rechercheprozesses unterstützen, stellt jedoch keine Garantie für die Vollständigkeit, Richtigkeit oder wissenschaftliche Qualität der KI-generierten Ergebnisse dar. Er ersetzt keine spezifischen methodischen Protokolle für systematische Reviews.

Warum auch ein guter Masterprompt keine Fehlerfreiheit gewährleistet

Ein Sprachmodell kann trotz präziser Anweisungen wissenschaftliche Inhalte falsch interpretieren oder behaupten, eine Überprüfung durchgeführt zu haben, obwohl die entsprechenden Voraussetzungen nicht bestanden.

Die wiederholte Aufforderung, ausschliesslich überprüfte wissenschaftliche Informationen zu verwenden, garantiert nicht, dass ein Sprachmodell die hierfür erforderlichen Arbeitsschritte tatsächlich ausführt.

Auch die KI-gestützte Kontrolle einer zuvor durch dieselbe Anwendung erzeugten Antwort stellt keine unabhängige wissenschaftliche Überprüfung dar.

Selbst der Einsatz verschiedener Sprachmodelle garantiert keine unabhängige Validierung, da diese auf ähnliche Informationsgrundlagen zurückgreifen oder vergleichbare systematische Fehler aufweisen können.

Eine tatsächliche wissenschaftliche Quellenprüfung muss deshalb durch den Abgleich mit geeigneten externen Informationsquellen beziehungsweise den wissenschaftlichen Originalpublikationen erfolgen.

Der Nutzen eines Masterprompts besteht insbesondere darin, die Anforderungen an den wissenschaftlichen Arbeitsprozess ausdrücklich zu definieren, mögliche Fehlerquellen systematisch zu berücksichtigen und die anschliessende fachliche Überprüfung zu erleichtern.

Merksatz: Ein wissenschaftlicher Masterprompt definiert die Anforderungen an einen Rechercheprozess. Er ist jedoch kein Nachweis dafür, dass diese Anforderungen tatsächlich erfüllt wurden.

Qualitätssicherung und ärztliche Verantwortung

Die FMH empfiehlt in ihren Ausführungen zum Umgang mit grossen Sprachmodellen die kritische fachliche Überprüfung KI-generierter Ergebnisse. Darüber hinaus sollten Ärztinnen und Ärzte entsprechende Anwendungen insbesondere in Bereichen nutzen, in denen sie über die erforderliche Fachkompetenz zur Beurteilung der erzeugten Inhalte verfügen [5].

Diese Empfehlungen sind auch für die medizinische Literaturrecherche von zentraler Bedeutung.

Die Verwendung künstlicher Intelligenz verändert die Möglichkeiten zur Beschaffung, Strukturierung und Verarbeitung wissenschaftlicher Informationen. Sie verändert jedoch nicht die Notwendigkeit einer eigenständigen wissenschaftlichen und ärztlichen Beurteilung.

Insbesondere bei der Erstellung medizinischer Fortbildungsinhalte, wissenschaftlicher Publikationen und klinisch relevanter Empfehlungen muss nachvollziehbar sein, auf welcher wissenschaftlichen Grundlage die jeweiligen Aussagen beruhen.

Ein nachvollziehbarer wissenschaftlicher Arbeitsprozess

Klinische oder wissenschaftliche Fragestellung

↓

KI-gestützte Strukturierung und Entwicklung der Suchstrategie

↓

Tatsächliche Recherche in wissenschaftlichen Informationsquellen

↓

Identifikation und Überprüfung der Originalpublikationen

↓

KI-gestützte Analyse und strukturierte Zusammenstellung der Ergebnisse

↓

Unabhängige wissenschaftliche und ärztliche Qualitätskontrolle

↓

Medizinisch verantwortete Schlussfolgerung

Eigenes didaktisches Ablaufschema für eine KI-gestützte medizinische Literaturrecherche. Je nach Fragestellung und Verwendungszweck sind zusätzliche methodische Arbeitsschritte erforderlich. Bei erkannten Unstimmigkeiten muss gegebenenfalls zu einem vorausgehenden Arbeitsschritt zurückgekehrt werden.

Das Vier-Augen-Prinzip

Besonders bei wissenschaftlichen Veröffentlichungen, medizinischen Fortbildungsinhalten oder klinisch relevanten Schlussfolgerungen kann eine zusätzliche unabhängige fachliche Überprüfung sinnvoll sein.

Hierbei sollte eine zweite fachkundige Person die Übereinstimmung wichtiger Aussagen mit den Originalquellen sowie deren wissenschaftliche und klinische Interpretation beurteilen.

Ein Sprachmodell kann die Vorbereitung einer solchen Überprüfung unterstützen, indem es beispielsweise zentrale wissenschaftliche Aussagen und die ihnen zugeordneten Literaturreferenzen strukturiert zusammenstellt.

Die wiederholte Kontrolle durch dieselbe KI ersetzt jedoch nicht das unabhängige fachliche Vier-Augen-Prinzip.

Auch eine durch mehrere Sprachmodelle bestätigte wissenschaftliche Aussage ist nicht zwangsläufig korrekt, wenn die entsprechenden Originalquellen nicht tatsächlich und unabhängig überprüft wurden.

Qualitätssicherung entsprechend dem Verwendungszweck

Nicht jede medizinische Literaturrecherche erfordert denselben wissenschaftlichen Prüfaufwand.

Bei einer ersten orientierenden Recherche kann es beispielsweise ausreichen, relevante wissenschaftliche Informationsquellen zu identifizieren und sich einen Überblick über die Fragestellung zu verschaffen.

Sobald jedoch konkrete medizinische Aussagen veröffentlicht, in Fortbildungen vermittelt oder als Grundlage klinischer Entscheidungen verwendet werden sollen, steigen die Anforderungen an die wissenschaftliche Überprüfung.

Insbesondere bei numerischen Studienergebnissen, aktuellen medizinischen Leitlinienempfehlungen, diagnostischen Leistungskennzahlen oder Aussagen zur Wirksamkeit und Sicherheit therapeutischer Interventionen ist ein sorgfältiger Abgleich mit den zugrunde liegenden wissenschaftlichen Quellen erforderlich.

Ein nicht ausreichend überprüfter redaktioneller Entwurf sollte nicht als wissenschaftlich abschliessend geprüft betrachtet werden.

Die Intensität der wissenschaftlichen Qualitätskontrolle muss sich deshalb insbesondere an der klinischen Bedeutung der Aussagen und den möglichen Konsequenzen fehlerhafter Informationen orientieren.

Besonderheiten für die Schweizer Arztpraxis

Bei der Verwendung internationaler wissenschaftlicher Publikationen sollten zusätzlich die Rahmenbedingungen des Schweizer Gesundheitswesens berücksichtigt werden.

Hierzu gehören beispielsweise die Verfügbarkeit und Zulassung von Arzneimitteln, nationale und regionale Versorgungsempfehlungen sowie die organisatorischen und rechtlichen Voraussetzungen medizinischer Massnahmen.

Wissenschaftliche Erkenntnisse und regulatorische beziehungsweise gesundheitspolitische Rahmenbedingungen stellen unterschiedliche Informationsebenen dar. Beide müssen bei entsprechenden klinischen Fragestellungen berücksichtigt werden.

Für allgemeine Literaturrecherchen ist die Übermittlung personenbezogener Patienteninformationen an externe KI-Anwendungen in der Regel nicht erforderlich.

Klinische Fragestellungen sollten deshalb nach Möglichkeit in abstrahierter Form formuliert werden. Hierbei ist zu berücksichtigen, dass auch nach Entfernung unmittelbar identifizierender Angaben eine Identifikation einzelner Patienten anhand besonderer klinischer Merkmalskombinationen möglich sein kann.

Weitere Informationen zu den entsprechenden datenschutzrechtlichen und organisatorischen Voraussetzungen finden Sie im Beitrag KI – Datenschutz und ärztliche Verantwortung.

Merksatz: Die Verwendung künstlicher Intelligenz innerhalb wissenschaftlicher Arbeitsprozesse entbindet medizinische Fachpersonen nicht von der Verantwortung für die Überprüfung, Interpretation und sachgerechte Verwendung wissenschaftlicher Informationen.

Checkliste zur wissenschaftlichen Quellenprüfung

Die folgende Checkliste kann insbesondere bei der Überprüfung KI-generierter Fachtexte und wissenschaftlicher Recherchen als Orientierung dienen.

Sie ermöglicht eine strukturierte Kontrolle des Rechercheprozesses, der bibliografischen Angaben, der wissenschaftlichen Inhalte und der abschliessenden medizinisch-redaktionellen Qualitätsprüfung.

01 – Rechercheprozess

☐ Die wissenschaftliche Fragestellung wurde eindeutig definiert.

☐ Eine tatsächliche Literaturrecherche wurde durchgeführt.

☐ Verwendete Datenbanken und Recherchezeitpunkt sind dokumentiert.

☐ Die tatsächlich ausgeführten Suchstrategien sind nachvollziehbar.

☐ Einschränkungen der Recherche wurden offengelegt.

☐ Eine allgemeine Internetsuche wurde nicht mit einer tatsächlich ausgeführten wissenschaftlichen Datenbankrecherche gleichgesetzt.

02 – Bibliografische Kontrolle

☐ Die Existenz der zitierten Publikationen wurde überprüft.

☐ Autoren, Titel, Zeitschrift und Publikationsjahr sind korrekt.

☐ Angegebene DOI- und PMID-Nummern wurden verifiziert.

☐ Verfügbare Hinweise auf Korrekturen und Retraktionen wurden berücksichtigt.

03 – Wissenschaftliche Inhaltsprüfung

☐ Der tatsächliche Quellenzugang wurde dokumentiert.

☐ Die zitierten Publikationen unterstützen die jeweiligen Aussagen.

☐ Studienpopulationen und Studiendesigns wurden korrekt wiedergegeben.

☐ Numerische Studienergebnisse wurden mit den zugänglichen Originalquellen abgeglichen.

☐ Eigene Berechnungen und didaktische Beispiele sind ausdrücklich gekennzeichnet.

☐ Fehlende oder nicht zugängliche Studieninformationen wurden nicht durch Vermutungen ergänzt.

04 – Evidenzbewertung

☐ Methodische Limitationen und mögliche Verzerrungsrisiken wurden berücksichtigt.

☐ Widersprüchliche Studienergebnisse wurden nicht ausgeblendet.

☐ Statistische und klinische Relevanz wurden unterschieden.

☐ Effektgrössen und verfügbare Angaben zur statistischen Unsicherheit wurden berücksichtigt.

☐ Die Übertragbarkeit auf die klinische Fragestellung wurde beurteilt.

☐ Wissenschaftliche Studienergebnisse und Leitlinienempfehlungen wurden voneinander unterschieden.

05 – Abschliessende Freigabe

☐ Wissenschaftliche Ergebnisse und eigene Interpretationen wurden getrennt.

☐ Nicht überprüfbare Informationen sind ausdrücklich gekennzeichnet.

☐ Der Umfang der tatsächlich durchgeführten wissenschaftlichen Prüfung ist nachvollziehbar dokumentiert.

☐ Die datenschutzrechtlichen Voraussetzungen wurden berücksichtigt.

☐ Eine dem Verwendungszweck angemessene fachliche Qualitätskontrolle wurde durchgeführt.

☐ Die abschliessende medizinisch-redaktionelle Freigabe erfolgt durch die verantwortliche medizinische Fachperson.

Eigene praxisorientierte Checkliste. Kein validiertes wissenschaftliches Bewertungsinstrument und kein Ersatz für etablierte methodische Standards systematischer Reviews.

Umgang mit noch nicht abgeschlossenen Prüfschritten

Nicht überprüfte wissenschaftliche Aussagen sollten innerhalb eines redaktionellen Entwurfes ausdrücklich gekennzeichnet werden.

Insbesondere wenn zentrale wissenschaftliche Originalpublikationen nicht zugänglich sind oder relevante Studienergebnisse nicht zuverlässig abgeglichen werden können, muss diese Einschränkung bei der Beurteilung des gesamten Textes berücksichtigt werden.

Je nach Bedeutung der betreffenden Aussagen kann es erforderlich sein, zusätzliche Informationsquellen zu erschliessen, wissenschaftliche Originalarbeiten zu beschaffen oder einzelne Aussagen bis zum Abschluss ihrer Überprüfung nicht zu verwenden.

Der wissenschaftliche Prüfstatus sollte deshalb nicht allein von der Vollständigkeit eines Literaturverzeichnisses oder der sprachlichen Qualität der wissenschaftlichen Ausarbeitung abhängig gemacht werden.

Wichtig: Wissenschaftliche Unsicherheiten und ein noch nicht abgeschlossener Quellenabgleich müssen transparent dokumentiert werden. Eine fehlende Überprüfung darf niemals durch eine vermeintlich plausible wissenschaftliche Darstellung ersetzt werden.

Fazit

KI und medizinische Literaturrecherche bieten ein erhebliches Potenzial zur Unterstützung wissenschaftlicher und klinischer Arbeitsprozesse. Künstliche Intelligenz kann medizinische Fragestellungen präzisieren, Suchstrategien entwickeln, relevante Informationen strukturieren und wissenschaftliche Publikationen vergleichend aufbereiten.

Allerdings dürfen KI-generierte Antworten nicht mit einer tatsächlich durchgeführten wissenschaftlichen Recherche gleichgesetzt werden. Auch formal korrekte Literaturangaben und überzeugend formulierte Studienzusammenfassungen können Fehler enthalten oder auf unvollständigen Informationsgrundlagen beruhen.

Eine professionelle KI-gestützte Literaturrecherche erfordert deshalb die unabhängige Überprüfung der wissenschaftlichen Quellen, die kritische Beurteilung ihrer Methodik und eine differenzierte Interpretation der klinischen Relevanz.

Besonders wichtig ist die Transparenz darüber, welche wissenschaftlichen Originalquellen tatsächlich eingesehen wurden und welche Informationen nicht zuverlässig überprüft werden konnten.

Standardisierte Arbeitsaufträge und strukturierte wissenschaftliche Prüfprozesse können dazu beitragen, diese Anforderungen im ärztlichen Alltag konsequenter umzusetzen.

Sie ersetzen jedoch weder die tatsächliche wissenschaftliche Recherche noch die fachliche Überprüfung der daraus abgeleiteten Erkenntnisse.

Den grössten Nutzen entfaltet künstliche Intelligenz dabei nicht als Ersatz wissenschaftlicher Arbeit, sondern als unterstützendes Werkzeug innerhalb eines strukturierten und medizinisch verantworteten Rechercheprozesses.

Die hierfür erforderlichen Kompetenzen und organisatorischen Voraussetzungen werden im abschliessenden Beitrag unserer Artikelserie Professioneller Umgang mit künstlicher Intelligenz zusammenfassend dargestellt.

Eine künstliche Intelligenz kann uns helfen, wissenschaftliche Erkenntnisse zu finden, zu strukturieren und zu verstehen. Ob diese Erkenntnisse tatsächlich zutreffen und welche Bedeutung sie für unsere Patienten haben, müssen wir weiterhin selbst beurteilen.

Weiterführende Beiträge

Dieser Beitrag ist Bestandteil unserer Artikelserie zur künstlichen Intelligenz in der Medizin. Die folgenden Beiträge vermitteln weiterführende technologische, methodische und klinische Grundlagen für einen professionellen Umgang mit künstlicher Intelligenz im ärztlichen Alltag.

Grundlagen und technologische Zusammenhänge

Methodik und wissenschaftliche Qualitätssicherung

Professionelle Anwendung im ärztlichen Alltag

Literatur und weiterführende Informationen

  1. National Library of Medicine (NLM). PubMed User Guide. Offizielle Dokumentation zur PubMed-Literaturrecherche.
  2. Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Metzendorf MI, et al. Chapter 4: Searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al., editors. Cochrane Handbook for Systematic Reviews of Interventions. Version 6.5.1. Cochrane; 2025. Online-Volltext.
  3. Walters WH, Wilder EI. Fabrication and errors in the bibliographic citations generated by ChatGPT. Sci Rep. 2023;13:14045. DOI: 10.1038/s41598-023-41032-5. PMID: 37679503.
  4. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372:n71. DOI: 10.1136/bmj.n71. PMID: 33782057.
  5. FMH. Empfehlungen der FMH zum Umgang mit grossen Sprachmodellen (LLMs) im ärztlichen Alltag. Offizielle Empfehlungen der FMH.
  6. Rethlefsen ML, Kirtley S, Waffenschmidt S, Ayala AP, Moher D, Page MJ, et al. PRISMA-S: an extension to the PRISMA Statement for Reporting Literature Searches in Systematic Reviews. Syst Rev. 2021;10:39. DOI: 10.1186/s13643-020-01542-z.

Redaktionsstand: 18. November 2026.

Nach oben scrollen