Wie zuverlässig sind Chat-GPT & Co. als Ratgeber in Gesundheitsfragen? „Search“-Expertin und IGEPHA-Vortragende Julia Walsh veröffentlichte zu diesem topaktuellen Thema ein spannendes White Paper.
AI-Tools wie Chat-GPT sind drauf und dran, unsere Suchgewohnheiten im Internet neu zu prägen. Es sei durchaus möglich, sagt die australische „Search“-Forscherin Julia Walsh, dass Patient:innen und Konsument:innen in Zukunft mehr Zeit mit „Dr. GPT“ und „Dr. Bing“ verbringen, als mit ihren menschlichen Gesundheitsdienstleistern.
Wie dramatisch die Situation ist und wie darauf seitens der Healthcare-Branche reagiert werden sollte, beschreibt Julia Walsh in einem White Paper, das auf den Ergebnissen einer Diskussion mit Unterstützung von Experten aus den Bereichen Digitalisierung und Gesundheit beruht und eine Vielzahl an Forschungsergebnissen und wissenschaftlichen Beiträgen einbezieht.
Im White Paper „Responding to AI Disruptions in Search (Health)” berichtet Julia Walsh über die Ergebnisse eines ganz simplen Experiments: Um die Performance von GPT-3.5, GPT-4 und Bard zu testen, wurden die AI-Tools aufgefordert, einen Artikel über die Krebsforschung in Australien zu verfassen und dafür ausschließlich australische Statistiken und Referenzen zu verwenden.
Die Resultate waren ernüchternd:
GPT-3.5: Dieses Tool lieferte eine gut geschriebene Antwort mit klarer Sprache und logischer Argumentation. Es wurde jedoch nicht tiefer auf Herausforderungen und Ungleichheiten in der Krebsforschung eingegangen. Die Antwort lieferte zwölf Quellen, davon waren acht ungültig.
GPT-4: Die Antwort von GPT-4 war in einem eher akademischen Schreibstil verfasst. Berichtet wurde über Fortschritte in der Krebsforschung, Herausforderungen und Prognosen für die Zukunft. Der Artikel war strukturiert und enthielt eine Einleitung, Zwischenüberschriften zu aktuellen Forschungsergebnissen und Herausforderungen sowie eine Schlussfolgerung. Wie angefordert wurden zehn Zitate bereitgestellt, diese enthielten jedoch fünf ungültige Quellen.
Bard: Bards Antwort war ebenfalls gut geschrieben, aber deutlich kürzer und weniger detailliert als die der beiden anderen Chatbots. Der Text bot einen kurzen Überblick über die Krebsforschungsbereiche, es fehlte jedoch eine ausführliche Diskussion der Fortschritte und Herausforderungen. Bard lieferte nur vier Zitate, die alle ungültig waren.
Julia Walsh warnt vor der mangelnden Transparenz hinsichtlich der Informationsquellen, deren Qualität darüber entscheidet, ob die von der Künstlichen Intelligenz angebotenen Informationen vertrauenswürdig, in der Praxis anwendbar und aktuell sind. Speziell im Gesundheitsbereich sei es notwendig, dass die richtigen Ressourcen als Inhaltsquelle für chatbasierte Suchantworten verwendet werden.
Ziel sei es, Patient:innen und Konsument:innen eine hochwertige, zuverlässige und evidenzbasierte Online-Gesundheitsberatung bereitstellen zu können.
Dazu sei die Zusammenarbeit zwischen den Stakeholdern – insbesondere der Self Care Industrie und der Regierung – erforderlich. Es brauche eine branchenweite Reflexion zur Bewertung des Status quo und zur Entwicklung professioneller Maßnahmen.
Folgende Aktivitäten werden vorgeschlagen:
- Passende gesetzliche Rahmenbedingungen dafür, wie Gesundheitsinformationen verfügbar gemacht werden.
- Direkte Zusammenarbeit mit den Betreibern der AI-Tools, um sich hinsichtlich der Bereitstellung von relevanten, evidenzbasierten Inhalten abzustimmen. So könnte z. B. vereinbart werden, dass bei Fragen zu einem Medikament Links zu der im jeweiligen Land gültigen Produktinformation eingefügt werden.
- Investitionen in Schulungsmaßnahmen bei Gesundheits- und Pharmaunternehmen, um mit den Eigenheiten der AI-Tools vertraut zu werden und neue Ansätze für digitale Strategien zu entwickeln.
- Die gesamte Informationsstrategie zu medizinischen und gesundheitlichen Fragen müsste neu konzipiert werden, um auf den digitalen Wandel optimal reagieren zu können.
- Der Austausch mit externen Experten von außerhalb des Gesundheitssektors soll gefördert werden, um durch vernetzte Zusammenarbeit bestmöglich die neue „Suchdynamik“ nützen und für die Patient:innen zuverlässige Ergebnisse bereitstellen zu können.
- Durch Kooperation innerhalb der Branche soll sichergestellt werden, dass man in der sich radikal wandelnden digitalen Landschaft den Überblick behält. Branchenverbände und Regierung sollten gemeinsam die Voraussetzungen dafür schaffen, um das Internet für Interessengruppen im Gesundheitswesen „aufzuräumen“, wie Julia Walsh es nennt.
Verständnis für die neue digitale Landschaft zu entwickeln sei ein Projekt, das kein Unternehmen alleine bewältigen könne, so die Search-Expertin. Daher sei es so wichtig, dass branchenweit und branchenübergreifend darüber reflektiert werde.
Tipps:
Das gesamte White Paper finden Sie hier.
Save the Date:
Am 18. Jänner 2024 bringt Sie Expertin Julia Walsh in einer IGEPHA Online-Session zu KI-gestützten Chats auf den neuesten Stand.
