Symptom-Checker

Symptom-Checker sind Web-Anwendungen oder APPs zur klinischen Entscheidungshilfe für Patienten bzw. Laien. Es sind digitale Werkzeuge, die sie bei ihrer Selbsteinschätzung unterstützen, ob und wie schnell sie professionelle ärztliche Hilfe in Anspruch nehmen sollten (Self-Triage) und welche wahrscheinliche Diagnose oder Differentialdiagnose hinter den geschilderten Symptomen und der medizinischen Vorgeschichte sich verbirgt.

Methoden und Regulierung

Methoden reichen von klassischen Bayes’schen Entscheidungsbäumen über andere statistische Verfahren, wie die Auswertung von Korrelationen (engl. associative inference) und Kausales Maschinelles Lernen bis zu neuronalen Netzwerken. Testgütekriterien (Sensitivität, positiver Prädiktiver Wert) sind besser geeignet, Richtig- und Falschbewertungen gegenüber zu stellen. Die Entwickler veröffentlichen in der Regel ihre Methodik nicht.

Symptom-Checker sollten in Europa zertifiziert sein. Man erkennt dies an der CE-Kennzeichnung oder dem Zusatz Medizinprodukt Klasse 1. Die amerikanische Food and Drug Administration (FDA) hat Symptom-Checker-Apps von den strengen Regeln ausgenommen, die normalerweise für Medizinprodukte gelten. Die Behörde unterscheidet aber zwischen „gesperrten“ (nicht lernenden) Algorithmen und auf künstlicher Intelligenz (AI)-basierten/ML-basierten Lernalgorithmen, wobei nur letztere unter ein strengeres Regelwerk fallen..

Genauigkeit und Zuverlässigkeit

Die Evaluation, wie zuverlässig eine richtige Diagnose gestellt wird bzw. die korrekte Dringlichkeit eingestuft wird, kann entweder mit realen Patientendaten durch Vergleiche mit ärztlichen Diagnosen durchgeführt werden (kontrollierte Studie). Oder es werden standardisierte Vignetten als Eingangsdatensatz hergenommen. Vignetten sind fiktive Patientenbeschreibungen mit strukturierten Zusammenstellung von Symptomen, Umfeld, Vorgeschichte, Alter u. a.

Eine britische Vergleichsstudie aus dem Jahr 2015 mit 45 Vignetten erbrachte eine Übereinstimmung von 58 % mit richtigen Diagnosen.

In einem systematischen Review von Wallace aus dem Jahr 2022 über 10 Studien lag die diagnostische Genauigkeit (der zu oberst genannte Diagnose) zwischen 19 und 38 %, während die Triage-Genauigkeit höher lag (49–90 %). Es fanden sich beträchtliche Unterschiede zwischen den einzelnen Symptom-Checkern.

Solche Arbeiten, die die Genauigkeit mehrerer Symptom-Checker zusammenfassen, finden oft eine hohe Heterogenität, sowohl was die einzelnen Symptom-Checker anbetrifft, wie auch die verschiedenen Medizinbereiche und die Settings, wo dieser eingesetzt wird. Daher sind auch gezielte Analysen entstanden:

Bewertung zur Anwendung in Notaufnahme

Weltweit laufen Notaufnahme von Kliniken Gefahr, von Bagatellfällen überrannt zu werden und suchen nach Lösungen. In einer amerikanischen Notaufnahme wurden ankommende Patienten entweder durch den Symptom-Checker ADA-Health befragt oder von 3 Ärzten. Der Symptom-Checker lieferte bei 70 % richtige Diagnosen, die Ärzte bei 69 %. Die Ärzte bewerteten 62 % der Triage-Entscheidungen als zutreffend, 24 % als zu vorsichtig und 22 % als zu riskant.

Unterschiedliche Bewertungen in der Rheumatologie je nach Vorwissen der Ärzte

Bei manchen Facharztpraxen bestehen lange Wartezeiten, um einen Termin zu bekommen. Eine Untersuchung in der Rheumatologie erbrachte eine Richtigkeit von 16,7 % bezogen auf die Enddiagnose, die Ärzte gestellt haben, denen alle technischen und Labor-medizinischen Hilfen zur Verfügung standen. Hier wurde allerdings kritisch der Wissensvorsprung der Ärzte als Ursache der schlechten Ergebnisse herausgestellt und von den Autoren eine zweite Studie angeschlossen. Bei dieser standen dem Symptom-Checker (ADA Health) und den Ärzte das gleiche Wissen (Vignetten) zur Verfügung. Unter diesen Bedingungen stellte der Symptom-Checker die zu oberst genannte Diagnose in 70 % richtig dar, während den Ärzte dies in nur 54 % der Fälle gelang.

Untersuchungen, ob Symptom-checker aus früheren Fällen lernen

Eine Arbeitsgruppe aus Berlin konnte zeigen, dass sich die Performance für Triage und Diagnostik im Durchschnitt zwischen 2015 und 2020 kaum verändert hat. Dieselbe Arbeitsgruppe ermittelte 2021 mittels solcher Vignetten, dass medizinische Laien eine ähnlich gute Fähigkeit wie Symptom-Checker aufweisen, was die Einstufung der Dringlichkeit (Triage) anbetrifft.

J.G.Richens (von Babylon Health) veröffentlichte 2020, dass durch die Methode der kontrafaktischen Schlussfolgerung (conterfactual inference) die Berücksichtigung der Kausalität von Symptom zur Diagnose zu besseren Ergebnissen führt, als die reine Korrelation, auf welcher die meisten Symptom.Checker beruhen.

Verbreitung

Laut EPatient Survey hatten 2020 bereits 13 % der Jugendlichen eine Diagnostik-App konsultiert. Im deutschsprachigen Raum sind u. a. verbreitet: Ada Health (Berlin), Symptoma (Attersee, Österreich) und XUND (Österreich). Deutschsprachig sind auch die spanische Anwendung Mediktor und die polnische App Symptomate von Infermedica. Letztere ist auch in die Medizinwelten von Sana Digital der Sana-Kliniken integriert. Weltweit sind 2022 ca. 100 Symptom-Checker freigeschaltet mit starker Tendenz nach oben, aber auch hoher Fluktuation. In China ist DoctorBot sehr stark verbreitet.

Symptom-Checker für Covid-19

Durch die Covid-19-Pandemie breiteten sich spezialisierte Symptom-Checker weltweit aus. Die wichtigsten in Deutschland sind:

CovApp der Charité (Berlin) ist ein Open Source Web-Fragebogen mit MIT-Lizenz und kann auch von Ärzten in der Praxis verwendet werden. Der Symptom-Checker der Lungenärzte im Netz (Web-Fragebogen) gibt Hinweise ob Covid-19, Influenza oder eine Erkältung vorliegen.

Mögliche Kostenerstattung in Europa

In Österreich wurde 2021 vom Austrian Institute for Health Technology Assessment eine Evaluierung vorgenommen und auch Studien und Evaluierungen in anderen Ländern (mit ähnlichen Gesundheitssystemen) herangezogen.

Grundsätzlich sehen sie bei allen DIGAs Datenschutz, CE-Markierung und Risikoeinstufung nach aktueller EU-MDR als zwingend an. Eine Zusammenarbeit mit ELGA wurde empfohlen. Die Österreicher sehen Vignetten-Studien kritisch. DiGAs aus der Gruppe der Symptom-Checker erfüllen die ASVG-relevanten Priorisierungskriterien nicht stringent, da sie der Funktionsgruppe „Erkennung/Diagnose“ zuzuordnen sind. Für Symptom-Checker konnte der Nutzennachweis durch vorliegende Studien nicht ausreichend erbracht werden und somit kann derzeit keine Refundierung erfolgen.

Anwendungen in der Dritten Welt

Babylon Health hat mit Ruanda für die nächsten 10 Jahre ein gemeinsames Projekt der Gesundheitsversorgung geschlossen, in dem auch der Symptom-checker eingeschlossen ist. ADA Health hat in Tansania eine Studie initiiert, mit der die Versorgungseffekte in einer Distrikt-Notaufnahme untersucht werden sollen.

Zukunftsaussichten

E-Health Analysten sehen in Symptom-Checkern großes Potential, sowohl in der Dritten Welt wie auch in Industrienationen. Hier würde eine 5 % Reduktion von Arztbesuchen durch Benutzung der APP in Deutschland 1 Mrd. € dem Gesundheitswesen ersparen (in USA 8 Mrd. €. In Japan 6 Mrd. €).

Auch in Entwicklungsländern sind Arztpraxen und Kliniken oft schwer erreichbar, dafür ist aber das Mobilfunknetz gut ausgebaut, namentlich in Afrika. Hier können Symptom-Checker zur Überbrückung dringliche von weniger dringlichen Indikationen trennen und so unnötig lange Wege ersparen.

Forschungsprojekte

Das Tübinger Projekt CHECK.APP untersucht die sozialen, ethischen und juristische Aspekte von Symptom-checkern, insbesondere durch Literaturrecherchen und Befragungen. Das Forschungsprojekt AkuSym der Charite Berlin erforscht, ob von Symptom-Checkern positive Versorgungseffekte beim Besuch von Notaufnahmen ausgehen.

Kritik

Experten für Diagnostik und Analysten fiel auf, dass Symptom-Checker oftmals harmlose Symptome bzw. Erkrankungen als 'abklärungsbedürftig' erklären bzw. zum schnellen Arztbesuch raten (engl. overtriage). Eine Beruhigung und Angst-Bewältigung findet also nicht statt und die prophezeiten Sparziele werden verfehlt. Offenbar scheuen sich die Entwickler Verantwortung zu übernehmen.

Diese Kritiker konnten auch in mehreren Fällen widerlegen, dass Systeme, die sich mit dem Attribut „Lernendes System“ schmückten, in Wirklichkeit über einen definierten Zeitraum eine schlechtere Performance bei gleichen Eingangsparametern aufwiesen, was einem Lernvorgang widerspricht.

Auch unzureichender Datenschutz hat Kritik hervor gerufen: Analysten fanden 2019 heraus, dass bei der App von Ada-Health Krankheitssymptome und der Namen der Krankenkasse an Tracking-Firmen wie Facebook gelangten. Daraufhin nahm die Techniker Krankenkasse die App aus ihrem Portfolio.

Einzelnachweise

1. A. Ćirković, Evaluation of Four Artificial Intelligence–Assisted Self-Diagnosis Apps on Three Diagnoses; J Med Internet Res 2020;22(12):e18097 doi:10.2196/18097
2. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) US-FDA-Artificial-Intelligence-and-Machine-Learning-Discussion-Paper.pdf
3. Semigran HL et al.: Evaluation of symptom checkers for self diagnosis and triage: BMJ 2015 Jul 08;351:h3480 doi:10.1136/bmj.h3480
4. William Wallace et al.The diagnostic and triage accuracy of digital and online symptom checker tools: a systematic review, npj Digital Medicine (2022) 5:118 ; https://doi.org/10.1038/s41746-022-00667-w
5. H. Fraser et al.;Evaluation of Diagnostic and Triage Accuracy and Usability of a Symptom Checker in an Emergency Department: Observational Study JMIR Mhealth Uhealth 2022;10(9):e38364) doi:10.2196/38364
6. Knitza J, et al: Accuracy, patient-perceived usability, and acceptance of two symptom checkers in rheumatology: ArthritisRes Ther 23:112.(2021) https://doi.org/ 10. 1186/ s13075- 021- 02498-8
7. Gräf M. et al. Comparison of physician and artificial intelligence based symptom checker diagnostic accuracy :Rheumatology International (2022) 42:2167 doi.org/10.1007/s00296-022-05202-4
8. ML Schmieding et al.: Triage Accuracy of Symptom Checker Apps: 5-Year Follow-up Evaluation JMed Internet Res 2022;24(5):e31810 doi:10.2196/31810
9. M L Schmieding et al. Benchmarking Triage Capability of Symptom Checkers Against That of Medical Laypersons: Survey Study J Med Internet Res 2021;23(3):e24475) doi:10.2196/24475
10. J. G. Richens et al. Improving the accuracy of medical diagnosis with causal machine learning NATURE COMMUNICATIONS | (2020) 11:3923 https://doi.org/10.1038/s41467-020-17419-7
11. EPatient survey 2020. Health & Care Management. 2020. :https://www.hcm-magazin.de/epatient-survey-2020-digital%09-health-studie/150/10992/407743
12. X. Fan et al. Utilization of Self-Diagnosis Health Chatbots in Real-World Settings: Case Study; J Med Internet Res 2021 23(1):e19928. doi:10.2196/19928.
13. Jeindl R., Goetz G. Prozess und Bewertung digitaler Gesundheitsanwendungen – am Beispiel der „Symptom-Checker“. AIHTA Projektbericht Nr. 141, 2021. Wien: HTA Austria – Austrian Institute for Health Technology Assessment GmbH
14. Millen E. et al. The AFYA Health Study; BMJ open 12/4 (2021)[1]
15. https://research2guidance.com/next-generation-of-symptoms-checkers-will-become-one-of-the-killer-applications-in-digital-health/
16. Anna-Jasmin Wetzel et al. Ethical, Legal, and Social Implications of Symptom Checker Apps in Primary Health Care (CHECK.APP): Protocol for an Interdisciplinary Mixed Methods Study :JMIR Res Protoc (2022) 11 : 5 e34026
17. https://www.bundesgesundheitsministerium.de/ministerium/ressortforschung-1/handlungsfelder/forschungsschwerpunkte/zdg/akusym.html
18. Norbert Donner-Banzhoff: Die ärztliche Diagnose Abschn. 17.3 Hogrefe Bern 2022
19. Marvin Kopka et al. The Triage Capability of Laypersons: JMIR Form Res . 2022 ;6(10):e38977. doi:10.2196/38977.
20. c't 23/2019 https://www.heise.de/ct/artikel/Die-Folgen-des-Ada-Datenschutzskandals-4567809.html