Informatik, Biometrie und Epidemiologie in Medizin und Biologie

Band 29, Heft 1/1998, S. 48-59, ISSN 0943-5581

Gustav Fischer Verlag, Verlag Eugen Ulmer Stuttgart

Evaluation medizinischer Diagnostik-Expertensysteme zur Wissensvermittlung

Frank Puppe*, Bernhard Puppe**, Bettina Reinhardt*, Stefan Schewe***, Hans-Peter Buscher****

* Universität Würzburg, Lehrstuhl für Informatik VI, Am Hubland, 97074 Würzburg.

** Medizinische Klinik der Universität Würzburg, Josef-Schneider-Str. 2, 97080 Würzburg.

*** Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, 80336 München.

**** DRK-Kliniken Berlin-Köpenick, Salvador-Allende Straße 2-8, 12559 Berlin.

Zusammenfassung: Diagnostische Übungen mit vielen verschiedenen Computer-simulierte Patientenfällen sind eine mächtige Lerntechnik für die medizinische Ausbildung. Der Entwicklungsaufwand läßt sich beträchtlich verringern, wenn die Fallsimulationen aus konkreten Falldaten und allgemeinem Expertenwissen generiert werden. Dieser Beitrag beschreibt die Ergebnisse zweier Evaluationen derartiger Trainingsprogramme für die Rheumatologie und Hepatologie, die mit dem Diagnostik-Shell-Baukasten D3 entwickelt wurden. Als zusätzliches Lernmedium und zum Selbstudium wurden sie von Medizin-Studenten und Ärzten in der Facharztausbildung überwiegend positiv bewertet, eignen sich jedoch nicht als Ersatz für einen Dozenten.

Stichworte: Medizinische Diagnostik, Expertensysteme, computer-basiertes Training, Intelligente Tutorsysteme, Rheumatologie, Hepatologie.

Title: Evaluation of medical diagnostic expert systems for teaching

Summary: Diagnostic studies with many different computer simulated patients are a powerful learning technique for medical education. The development effort can be greatly reduced, if the patient simulations can be generated from cases and general diagnostic expert knowledge. This paper reports the results from two evaluations of such training programs for rheumatology and hepatology. They were developed with the diagnostic tool kit D3. They were rated well by medical students and physicians in their internship as additional learning technique and for self studies, but not considered as possible substitute for a teacher.

Key words: Medical diagnosis, expert systems, computer based training, intelligent tutoring systems, rheumatology, hepatology.

1. Einleitung

Ein noch weitgehend ungenutzes Potential medizinischer Expertensysteme liegt in der Wissensvermittlung. Mögliche Tutorfunktionen umfassen:

1. Im Handbuchmodus dient es als Nachschlagewerk. Da das Wissen gut strukturiert ist, kann es übersichtlich in Tabellen und Diagrammen dargestellt, mit unterstützenden Texten und Bildern angereichert und assoziativ gelesen werden.

2. Im Beratungsmodus kann der Tutand die hypothetisch-deduktive Problemlösungsmethode des Diagnosesystems nachvollziehen. Es zeigt für einen konkreten Problemfall jeweils seine Zwischen- und Endergebnisse und die zur weiteren Klärung erforderlichen Untersuchungen automatisch an, und begründet all das auf Wunsch.

3. Im Experimentiermodus kann der Tutand einen Fall variieren, um die Auswirkungen einzelner Symptome auf die Liste der Verdachtsdiagnosen zu betrachten. Umgekehrt kann er auch die typische Symptomatik verschiedener Diagnosen in einem Modell studieren.

4. Im Trainingsmodus löst der Tutand selbständig reale oder in einer Falldatenbank vorgegebene Fälle und wird dabei vom Expertensystem kritisiert. Es kann nicht nur seine Abschlußdiagnose kommentiert werden, sondern auch der Diagnostikprozeß, d.h. seine jeweiligen Verdachtsdiagnosen und seine zu deren Abklärung indizierten Tests.

Während die erste Funktion von einem einfachen Hypertext-System und die zweite und dritte Funktion von einem Expertensystem erfüllt wird, muß zur Realisierung der vierten Funktion das Expertensystem um tutorielle Algorithmen erweitert werden. In Kap. 2 und 3 gehen wir kurz auf die Wissensrepräsentation und die tutorielle Komponente des Shell-Baukastens D3 ein. Die Hauptziele der beiden Evaluationen des Rheumatologie- und Hepatologie-Trainers, die in Kap. 4 beschrieben werden, betreffen die Akzeptanz des neuen Mediums in der Routine-Ausbildung und die Frage, ob ein Wissenszuwachs meßbar ist (vgl. [9]). Das zugrundeliegende Lernparadigma ist der Konstruktivismus [1], da der Tutand in einer relativ freien Umgebung selbständig vom Computer präsentierte Patientenfälle lösen muß und dabei keine implizite Hilfestellung durch Multiple-Choice Fragen bekommt. Eine Übersicht über intelligente Tutorsysteme findet sich z.B. in [10]; Aspekte des Zusammenspiels von Experten- und Tutorsysteme werden u.a. in [2, 3, 6] diskutiert.

2. Wissensrepräsentation

Während der Shellbaukasten D3 [5] verschiedene diagnostische Wissensrepräsentationen und Problemlösungsmethoden bereitstellt (von Entscheidungsbäumen über statistische, fallbasierte und heuristische zu überdeckender und funktionaler Diagnostik), wurde in den hier diskutierten Anwendungsgebieten überwiegend die heuristische Diagnostik gewählt. Ein wichtiger Grund dafür ist, daß medizinisches Wissen zur Diagnostik vieler Krankheiten oft als heuristische n-von-m Regeln formuliert ist, d.h. zur Herleitung der Krankheit müssen eine bestimmte Anzahl aus einer Liste von Befunden zutreffen. Solche Diagnosekriterien sind z.B. in der Rheumatologie sehr verbreitet. Sie lassen sich in D3 auch in verschachtelter Form abbilden, z.B. wenn mindestens 2 und höchstens 3 von 8 Hauptkriterien und mindestens 2 von 4 Nebenkriterien zutreffen, dann sei eine Diagnose verdächtigt. Die Kriterien können direkt vom Benutzer erfragte Symptome, mit ähnlichen Regeln hergeleitete Symptominterpretationen oder auch andere Diagnosen sein.

Das Wissen zur Dialogsteuerung wird unabhängig von der diagnostischen Auswertung repräsentiert. Dazu werden zusammengehörige Fragen zu einer Frageklasse zusammengefaßt, z.B. "Familienanamnese", "Gelenkbeschwerden" oder "Röntgen-Thorax". Frageklassen werden durch Rountine-Indikation (z.B. Wenn Brustschmerz, dann mache EKG und Röntgen-Thorax) oder zur Klärung von Verdachtsdiagnosen indiziert. Eine Frageklasse besteht aus Standardfragen, die immer gestellt werden, sowie Folgefragen, die nur in Abhängigkeit der Beantwortung anderer Fragen sinnvoll sind.

Das Wissen wird mit einer vollständig grafischen Wissenserwerbskomponente in Formularen, Hierarchien, Tabellen und Graphen eingegeben, die es den Medizinern ermöglicht, weitgehend selbständig ihre Wissensbasen aufzubauen und zu testen [4]. Wenn ein Testfall vom Diagnosesystem richtig gelöst wurde, kann er für tutorielle Zwecke benutzt werden. Im Gegensatz zu hypertextbasierten Trainingssystemen, bei denen für die Aufbereitung jedes einzelnen Falles ein annähernd gleich großer Aufwand entsteht, können so - eine funktionsfähige Wissensbasis vorausgesetzt - in kurzer Zeit sehr viele Trainingsfälle erzeugt werden. Es ist auch ad hoc möglich, einen neu in der Klinik aufgenommenen Patienten als Trainingsfall aufzubereiten, da dazu nur dessen Falldaten eingegeben werden müssen, was besonders für das Einsatzszenario des Rheumatologie-Trainers (Kap. 4.1) notwendig ist. Im folgenden skizzieren wir kurz eine tutorielle Beispielsitzung.

3. Tutorielle Beispielsitzung

Im Trainingsmodus von D3 wird im Vergleich zum Beratungsmodus die Rolle von System und Benutzer vertauscht. Während im Beratungsmodus der Benutzer Symptome eingibt und das System weitere Test vorschlägt und Diagnosen herleitet, präsentiert das System im Trainingsmodus die Symptome eines Falles, wohingegen der Benutzer weitere Tests vorschlägt und Diagnosen verdächtigt bzw. bestätigt. Diese Benutzereingaben werden vom System aufgrund der Interpretation seiner Wissensbasis kommentiert. Die beiden folgenden Abbildungen illustrieren die Symptompräsentation und die Diagnoseauswahl und -kritik der Trainingskomponente am Beispiel des Neurologie-Trainers [6].

Abb. 1. Beispiel aus dem Neurologie-Trainer mit Präsentation der Symptome aus Anamnese und Untersuchungsbefund.

Abb. 2. Auswahl einer Verdachtsdiagnose durch den Benutzer mit Feedback vom System.

Zunächst werden dem Benutzer die Symptome aus Anamnese und Untersuchungsbefund präsentiert. Sie sind in einer "Klapphierarchie" angeordnet, um den vorhandenen Bildschirmplatz ökonomisch auszunutzen (Abb. 1). Anschließend kann der Benutzer einen Diagnoseverdacht äußern (Knopf "Diagnose" in Abb. 1) oder technische Untersuchungen anordnen (Knopf "Untersuchungen" in Abb. 1). Die neuen Symptome werden in der Klapphierarchie hinzugefügt, so daß der Benutzer im nächsten Zyklus seine Hypothesen revidieren und weitere Untersuchungen anfordern kann. Die Diagnosen werden aus einer hierarchisch strukturierten, vollständigen Diagnosehierarchie ausgewählt (Abb. 2). Die Auswahl der Untersuchungen erfolgt analog. Ihre Kritik erfolgt durch Vergleich der Benutzereinschätzung der Diagnose (verdächtigt oder bestätigt) mit der Systembewertung, in die jeweils nur die Symptome eingehen, die der Benutzer bisher angefordert hat (Abb. 2). Zwischendurch oder nach Kenntnis aller Symptome soll der Benutzer seine gewählten Diagnosen begründen, indem er die zu deren Herleitung wichtigen Symptome auswählt, was ebenfalls kommentiert wird.

4. Evaluationsergebnisse

Im folgenden werden die Ergebnisse von zwei umfassenden Evaluationsstudien eines rheumatologischen und hepatologischen Trainingssystems (Rheuma-Trainer und HEPA-CADS) beschrieben. Beide Systeme wurden mit dem Shell-Baukasten D3 erstellt, deren grundsätzliche Benutzerführung daher analog zu dem in Kap. 3 skizzierten neurologischen Beispiel ist.

4.1 Evaluation des Rheuma-Trainers

Die Wissensbasis des Rheuma-Trainers von Prof. Schewe (LMU München) deckt die ca. 70 wichtigsten rheumatischen Erkrankungen ab und wurde zunächst bezüglich ihrer diagnostischen Genauigkeit ausführlich und positiv evaluiert [8]. Zunächst wird das tutorielle Einsatzszenario vorgestellt und anschließend werden die Ergebnisse erläutert und diskutiert. Eine ausführliche Beschreibung findet sich in [7].

Einsatzszenario

Im Wintersemester 1994/95 wurde eine erste Evaluation an 22 Studenten des 8. Semesters durchgeführt, der im nächsten Semester eine gleichartige folgte. Immer war der Einsatz des Computerprogramms als Teil der Gesamtausbildung in einen Pflichtkurs für Innere Medizin in Gruppen von 2 bis 3 Studenten integriert. Dieser Kurs fand an jedem Dienstag und Mittwoch des Semesters in den unterschiedlichsten Fachgebieten der Inneren Medizin statt. Ähnlich wie bei den anderen Fachgebieten wurde auch im Rheumateil den Studenten am ersten Tag ein aktueller Patient aus der Rheumatologie vorgestellt, bei dem diese selbständig Anamnese und Untersuchung durchführen sollten. Das Ergebnis der studentischen Bemühungen und der diagnostischen Vorstellungen wurde anschließend ausführlich mit einem Dozenten besprochen. Am 2. Tag der Woche wurde der gleiche Patient mit all seinen anamnestischen Daten, den Untersuchungsbefunden, den Ergebnissen von Labor und Röntgenbildern usw. auf dem Rechner demonstriert und wiederum einschließlich der Handhabung des Programmes mit dem Dozenten besprochen. Anschließend bekamen die Studenten auf dem Rechner einen zweiten, klinisch ähnlichen Fall präsentiert - ausgewählt aus einer Datenbank von 1017 Rheumafällen -, den sie am Rechner hinsichtlich seiner Diagnose selbständig lösen sollten. In gleicher Form wurde der Kurs eine Woche später mit den gleichen Studenten durchgeführt.

Vor und nach jedem zweitägigen Kurs wurden multiple-choice und frei zu beantwortende Fragen zum Wissensstand der Studenten. In Ergänzung dieser Wissenstests wurden die Studenten nach jedem Kurs mit Einsatz des Rechners zu Ihrer Motivation und Meinung zu dem Lernprogramm, zu denkbaren Einsatzmöglichkeiten, usw. befragt.

Ergebnisse

Die Beurteilung der Anfänger-Version des Computerlernprogrammes von 41 Studenten (22 Studenten im Wintersemester 94/95 und 19 Studenten im Sommersemester 95) zeigte folgende Ergebnisse (nur ein Teil der Ergebnisse des 50 Items enthaltenden Fragebogens ist angegeben, Mittelwerte Standardabweichung, Minimum, Maximum):

Zur Lernmotivation:

Frage: ªHalten Sie den Einsatz von computergestützten Lernsystemen im Studium für sinnvoll?´,

Bewertung: 7.95 1.72; min 2, max 10

Frage: ªWie zufrieden sind Sie mit dem Computerprogramm hinsichtlich: Freude beim Arbeiten damit?´,

Bewertung: 7.03 2.06; min 2, max 10

Frage: ªGlauben Sie, daß Sie mit diesem Computerprogramm sinnvoll lernen können?´,

Bewertung: 6.93 2.30; min 2, max 10

Zu folgenden Feststellungen wurden von den Studenten Bewertungen abgegeben:

Feststellung: ªDas Programm ist geeignet,:´

ªeinen Lehrer zu ersetzen´ 1.82 1.61; min 1, max 8,

ªeinen Lehrer zu unterstützen´ 6.87 2.24; min 1, max 10,

ªmeine diagnostischen Fähigkeiten zu schulen´ 6.82 2.15; min 1, max 10,

ªmir bei speziellen diagnost. Problemen zu helfen´ 6.93 2.70; min 1, max 10,

ªZum Selbststudium´ 7.61 2.40; min 2, max 10,

ªmir Praxisbezug zu vermitteln´ 4.62 2.71; min 1, max 9.

Eine eindeutige Bevorzugung des Selbststudiums wird von den Studenten angegeben:

Frage: ªWo würden Sie ein solches Computerprogramm am meisten nutzen (Verfügbarkeit vorausgesetzt)?´

Computer der Uni selbständig: 5.63 2.73; min 1, max 10

Computer alleine zu Hause: 7.50 2.67; min 1, max 10

Computer mit Kommilitonen: 3.74 2.70; min 1, max 10

Ersatz für praktische Kurse: 1.44 1.18; min 1, max 7

Ergänzung zum Kurs: 7.05 2.78; min 1, max 10

Bei der Zufriedenheit der Studenten zeigen sich starke und schwache Seiten des Programms:

Frage: ªWie zufrieden sind Sie mit dem Computerprogramm hinsichtlich:´

ªVerständlichkeit des Textes´ 7.43 1.61; min 4, max 10

ªAnregung zum Weitermachen´ 6.86 2.06; min 2, max 10

ªFreude beim Arbeiten damit´ 7.03 2.06; min 2, max 10

ªGraphische Gestaltung´ 5.67 2.31; min 2, max 10

ªEigenerklärung des Programms´ 6.27 2.18; min 2, max 10

Die Selbstbeurteilung der Studenten bezüglich des Zugewinns an Wissen auf einer Skala von 1 (keine rheumatologischen Kenntnisse) bis 10 (gute rheumatologische Kenntnisse) zeigte:

Wintersemester 94/95 Sommersemester 95

Vor dem Kurs (0. Tag): 3,86 1,83 3,11 1,15

Nach 2-tägigem Kurs (2. Tag): 6,09 1,04 5,16 1,26

Nach einer Woche Pause (10. Tag): 4,41 1,30 3,05 1,36

Nach 2-tägiger Kursfortsetzung (12. Tag): 6,14 1,25 6,09 1,04

Diskussion

Studenten im fortgeschrittenen Stadium ihrer Ausbildung beurteilen den Rheuma-Trainer im großen und ganzen sehr positiv. Sie sind motiviert, damit zu arbeiten und zeigen klar die Einsatzmöglichkeiten eines derartigen Systems auf. Im Vordergrund liegt das Selbststudium. Dagegen werden isoliert angebotene Computer-Lernsysteme in Kliniken oder Universitäten, die nicht in die normale Studentenausbildung integriert sind, von Ihnen offensichtlich abgelehnt. Lernprogramme können weder Lehrer noch bestimmte Kurse ersetzen. In unserem Szenario wurde das Lernprogramm nicht in Konkurrenz sondern in Ergänzung zum Buch eingesetzt, und es bestehen Hinweise darauf, daß die Studenten durch das Computersystem dazu motiviert wurden, ein Lehrbuch in die Hand zu nehmen. Anders wäre das Ergebnis des Abschlußtests am jeweiligen Semesterende nicht zu verstehen, welches in einem schwierigeren rheumatologischen Fall, welcher nur bei einzelnen während des Kurses gezeigt und besprochen wurde, gleich gute Ergebnisse gefunden wurden wie in einem einfachen klinischen Fall der Inneren Medizin, der zu den ständig zu lösenden Problemen des Arztes zählt.

Schwieriger sind die Ergebnisse der Messungen des Wissens zu interpretieren. Sowohl bei der subjektiven Selbsteinschätzung der Studenten als auch bei der objektiven Messung des Studienerfolgs mit MC-Fragen zeigen die Kursanstrengungen, relativ unabhängig von der Art des Computereinsatzes während des Kurses, jeweils einen deutlichen Wissenszuwachs, der sich innerhalb von einer Woche jedoch auch wieder abschwächt, um dann durch den erneut dargebotenen Kurs - allerdings mit anderem rheumatologischen Inhalt - wieder anzusteigen. Insgesamt ist ein Wissenszuwachs über die 12 Tage zu beobachten, der zwar in Wellen verläuft, jedoch stetig ansteigt. Der oben erwähnte Abschlußtest deutet einen vergleichsweise guten Lernerfolg an.

Nicht zu verschweigen sind selbstverständlich die auch von den Studenten gesehenen Schwachstellen des Computerprogramms. Neben der zum Zeitpunkt der Evaluation noch fehlenden Multimedia-Illustration, der noch auszubauenden Erklärungskomponente des Systems, ist insbesondere auf die monierte Praxisrelevanz hinzuweisen, die entweder auf eine deutliche Unterschätzung des Faches Rheumatologie für den späteren Wirkungsbereich hinweist oder aber anzeigt, daß die Studenten der Meinung sind, daß sie das, was sie später für die Erkennung und Behandlung von Rheumapatienten brauchen, nicht mit dem System lernen. Hier mag eine Rolle spielen, daß das Lernsystem Rheuma ein reines Diagnose-Unterstützungssystem darstellt und auf einzelne Therapien oder Therapiestrategien nicht eingeht.

Auf die gegenüber einer großen Zahl von Lernprogrammen in der Medizin offensichtlichen Vorteile des Rheuma-Trainers muß hingewiesen werden. Mit dem System sind alltägliche, in der Klinik vorkommende Fälle für den Unterricht aufzubereiten und Ärzten zu ihrer Fort- und Weiterbildung zur Verfügung zu stellen. Mittlerweile besteht eine Datenbank von 1017 Patienten mit Rheumaproblemen, die mit dem Computer-Expertensystem Rheuma diagnostiziert wurden. Damit ist die Möglichkeit gegeben, aus diesem Datenschatz genau die Fälle auszuwählen, die für die Vermittlung bestimmter Wissensaspekte von Bedeutung sind. Es werden keine artefiziellen Patienten für den Unterricht aufbereitet, in die alle nur denkbaren Wissensinhalte eines Fachgebietes gepackt werden, sondern Fälle der täglichen Praxis.

Nach den Erfahrungen der vorliegenden Studie ist die Weiterentwicklung des Computer-Lernprogramms in folgender Weise notwendig: Durch ständigen routinemäßigen Einsatz im Studentenunterricht müssen die Studenten an das Lernsystem herangeführt werden und gleichzeitg das Computerprogramm verbessert und auf die Bedürfnisse der Studenten abgestimmt werden. Die für die Diagnoseunterstützung des niedergelassenen Nicht-Rheumatologen entwickelte Wissensbasis muß für Lehrzwecke geändert werden: internationale Standards, soweit sie definiert wurden, und Diagnosekriterien müssen den Studenten als solche mitgeteilt, die Bestandteile der Standards müssen im Computerprogramm umgesetzt sein. Zusätzliche Erklärungsbereiche durch Multi-Media-Anwendungen in Bild und Ton, durch Verweise auf passende Teile in Standard-Lehrbüchern und auf Literatur müssen ergänzt werden.

Weiterhin ist eine zusätzliche Anwendung bei der ärztlichen Fortbildung wie z.B. in Qualitätszirkeln zur Qualitätsverbesserung der rheumatologischen Versorgung anzustreben. Hier wird zukünftig die Einbeziehung von Kosten-Nutzen-Aspekten in der Lehre der Diagnostik von Bedeutung, wobei nicht nur die Wiedergabe der Kosten implementiert wird, sondern auch die Frage nach einer rationellen diagnostischen Vorgehensweise im Sinne eines "coaching" geplant ist.

4.2 Evaluation des Hepatologie-Trainers HEPA-CADS

Einsatzszenario

Der Hepatologie-Trainer von Prof. Buscher wurde entwicklungsbegleitend von einem nicht an der Implementierung beteiligten Arzt auf medizinisch-sachliche Richtigkeit, Vollständigkeit der Symptomerhebung und Konsistenz der Wissensbasis überprüft. Dazu wurden die einzelnen Frage- und Diagnoseformulare und die Dialog- und Diagnostikregeln einzeln geprüft. Die Funktionsweise der Regeln wurde zudem im Kontext einer Konsultation beurteilt. Fehler wurden sofort korrigiert, so daß die zur Prüfung verwendeten klinischen und exemplarischen Fälle schließlich korrekt gelöst wurden. In einem Zwischenstadium der Entwicklung wurden prospektiv über 100 klinische hepatologische Fälle mit Hilfe des Programms gelöst; und die Programmlösungen wurden mit der klinischen Enddiagnose verglichen. Dabei zeigte es sich, daß unter den vom Programm als wahrscheinlich angegebenen Diagnosen in jedem Fall auch die klinische Enddiagnose vorhanden war. Der Lösungsweg, der vom Programm beschritten wurde, entsprach in jedem Fall auch dem, der klinisch beschritten worden war. Eindeutig falsche diagnostische Fährten wurden vom Programm nicht vorgeschlagen.

Mit dem in dieser Weise getesteten Programm wurde eine vorläufige Evaluation auf seine tutoriellen Eigenschaften durchgeführt. Ziel war es, die Akzeptanz dieses neuen Lernmediums bei Ärzten verschiedenen Ausbildungsstadiums festzustellen. Als Probanden dienten Freiwillige an den DRK-Kliniken Köpenick. Sie wurden in drei Gruppen eingeteilt:

I. Gruppe: Studenten im Praktischen Jahr: 36 wurden angesprochen, die sich auch zur Mitarbeit bereit erklärten, von denen 32 (88,8%) tatsächlich mitgearbeitet haben. Von den 32 haben 7 aus technischen Gründen nur die theoretischen Fragen beantwortet; 25 haben in vollem Umfang mitgearbeitet und alle Fragebögen beantwortet.

II. Gruppe: Ärzte im Praktikum und Ärzte in Weiterbildung zum Facharzt mit bis zu 3 Jahren ärztlicher Tätigkeit: 22 wurden angesprochen, wovon 3 kein Interesse zeigten und 4 aus zeitlichen Gründen nicht mitarbeiteten, so daß 15 (68,2%) teilnahmen.

III. Gruppe: Ärzte über 3 Jahre praktische Tätigkeit: 18 wurden angesprochen, wovon 3 kein Interesse bekundeten und 4 aus zeitlichen Gründen nicht teilnehmen konnten, so daß 11 (61,1%) uneingeschränkt mitarbeiteten.

Die drei Gruppen unterschieden sich in ihren Erwartungen an ein Computer-unterstütztes Lernprogramm in folgender Weise: Die Gruppen I und II wünschen Lernen anhand klinischer Fälle, eine fallbezogene Darstellung des zu vermittelnden Wissens, eine Tutorfunktion sowie eine differenzierte Darstellung der Diagnosen, Differentialdiagnosen und Symptome. Die Gruppe III wünscht dagegen ein Lernprogramm mit Funktion als Erinnerer im Sinne eines Drill- oder Testprogrammes.

Ergebnisse

Die folgenden beiden Tabellen fassen wichtige Aussagen der Testpersonen nach einer Sitzung mit HEPA-CADS zusammen, wobei die Gruppe I in zwei Teilgruppen (Testpersonen ohne Heimcomputer = Ia und mit Heimcomputer = Ib) unterschieden wurde, sofern sich deren Aussagen deutlich unterschieden. In den Tabellen werden die Anzahl der positiven Antworten für eine Alternative (a) und die Gesamtheit der Antworten (b) in der Form a/b dargestellt.

Die Arbeit mit einem Computer ist für mich eher ...

langweilig - anregend

1 2 3

 

Ia

1/8

4/8

3/8

 

Ib

 

3/16

13/16

 

II

1/15

5/15

9/15

 

III

2/11

4/11

5/11

Glauben Sie, daß Sie mit diesem Lernprogramm sinnvoll lernen könnten?

nein ja

1 2 3

 

I

2/24

6/24

16/24

 

II

4/15

1/15

10/15

 

III

4/11

3/11

4/11

Glauben Sie, daß Sie sich mit einem fallbezogenen Lernprogramm eher mit Interesse als mit einem klinischen Lehrbuch beschäftigen würden?

nein ja

1 2 3

 

I

5/23

3/23

15/23

 

II

7/15

3/15

5/15

 

III

5/11

1/11

5/11

Würden Sie sich gerne noch einmal mit diesem Programm beschäftigen wollen?

nein ja

1 2 3

 

I

1/24

5/24

18/24

 

II

2/15

1/15

12/15

 

III

2/11

1/11

8/11

 

 

Das Programm ist geeignet,

nein ja

1 2 3

mir wesentliche Begriffe der Hepatologie

I

5/24

6/24

13/24

plausibel zu machen ?

II

1/15

6/15

8/15

III

2/10

2/10

6/10

mein Wissen zu vertiefen?

I

3/24

21/24

II

4/15

11/15

III

2/11

3/11

6/11

mir Praxisbezug zu vermitteln?

I

5/25

4/25

16/25

II

8/15

1/15

6/15

III

5/11

4/11

2/11

Faktenwissen zu erlernen?

I

5/25

8/25

12/25

II

3/14

3/14

8/14

III

3/10

4/10

3/10

selbständiges Denken zu schulen?

Ia

2/8

3/8

3/8

Ib

1/17

16/17

II

4/15

6/15

5/15

III

4/11

4/11

3/11

einen Lehrer zu ersetzen?

I

16/25

7/25

2/25

II

12/14

2/14

III

7/11

2/11

2/11

einen Lehrer zu unterstützen?

Ia

1/8

4/8

3/8

Ib

1/17

3/17

13/17

II

1/15

5/11

9/11

III

5/11

6/11

meine Lerngeschwindigkeit zu erhöhen?

I

11/25

5/25

9/25

II

8/15

3/15

4/15

III

4/11

3/11

4/11

Diskussion

Nach diesen Ergebnissen hält die Mehrzahl der jüngeren Ärzte die Konsultation eines solchen Tutorprogramms für anregend und lehrreich und geeignet, Wissen mit Praxisbezug zu vertiefen. Ärzte mit Heimcomputererfahrung glauben zudem ganz überwiegend, daß selbständiges Denken geschult würde. Die älteren Ärzte glauben dagegen häufig nicht, daß sie von einem Computerprogramm profitieren können. Alle drei Gruppen halten einen klinischen Lehrer nicht durch ein Programm ersetzbar. Vor allem die jüngeren Ärzte würden Programme wie HEPA-CADS vorzugsweise in Ergänzung zum klinischen Unterricht einsetzen, insbesondere zur Nacharbeit eines in einem Untersuchungskurs vorgestellten Krankheitsfalles.

5. Diskussion und Ausblick

Die Evaluationen des Rheuma- und des Hepatologie-Trainers haben klar gezeigt, daß das fallbasierte Training mit Patientenpräsentationen am Computer ein attraktiver Lernmodus für Studenten und angehende Ärzte darstellt. Es ist auch nicht verwunderlich, daß Ärzte mit mehr als 3-jähriger Berufserfahrung differenziertere Anforderungen an die Qualität der Wissensbasis stellen. Im Gegensatz zu fallbasierten Hypertextsystemen, in denen meist nur ein einziger pädagogisch aufbereiteter Fall präsentiert wird, können dank der Generierung der tutoriellen Präsentationen mit geringem zusätzlichem Aufwand zur Wissensbasisentwicklung sehr viele Fälle bereitgestellt werden, was einen wesentlichen Teil der Attraktion der Methode ausmacht. Je nach Vorwissen der Benutzer können so eher prototypische "Idealfälle" für die verschiedenen Diagnosen oder echte, eher mehrdeutige Fälle präsentiert werden. Insbesondere kann der Dozent eines Kurses auch die Fälle zur Fallbasis hinzufügen, die er im Rahmen des Kurses "live" präsentiert und so den Praxisbezug veranschaulichen. Die Begrenzung des Trainingssystems liegt letztlich in der Qualität der Wissensbasis.

Ein anderes Ergebnis der Evaluation waren auch zahlreiche Anregungen zur Weiterentwicklung, von denen ein paar schon erwähnt wurden. Dazu gehört in erster Linie die multimediale Präsentation der Patientensymptomatik und die Anbindung von informellen Wissensquellen wie Lehrbücher. Ein häufig geäußerter Wunsch war auch die Anbindung von Therapiemaßnahmen, die konzeptionell als Verfeinerungen der Diagnosen begriffen werden können. Neue Mechanismen in der Wissensrepräsentation sind erforderlich, wenn der zeitliche Verlauf mitberücksichtigt werden soll.

Weiterhin wurde die Erfahrung von Clancey bei seinen ersten Versuchen zur tutoriellen Nutzung von MYCIN [2] bestätigt, daß Wissensbasen, die für tutorielle Zwecke nutzbar sein sollen, zusätzliche Anforderungen an die Wissensstrukturierung stellen. Obwohl dies bei der Konzeption von D3 berücksichtigt wurde, zeigen die Erfahrungen, daß die Probleme wohl mehr auf inhaltlicher als auf formaler Ebene liegen. Da eine Umstrukturierung einer Wissensbasis sehr aufwendig ist, versuchen wir derzeit, ein Alternativkonzept zu verwirklichen. Dabei soll die heuristische Wissensbasis durch eine zweite, unabhängige Wissensbasis entsprechend der ebenfalls von D3 angebotenen kausal-überdeckenden Problemlösungsmethode ergänzt werden, die die pädagogischen Anforderungen besser erfüllen und als Grundlage für ein Tutandenmodell dienen kann. Darauf aufbauend ist eine enge Anbindung an informelle Wissensquellen wie Lehrbücher geplant.

6. Literatur

[1] Baumgartner, P. und Payr, S., 1994: Lernen mit Software, Österreichischer Studien-Verlag.

[2] Clancey, W., 1987: Knowledge-Based Tutoring: The GUIDON-Program, MIT Press.

[3] Fontaine, D., Beux, P., Riou, C. and Jacquelinet, C., 1994: An Intelligent Computer-Assisted Instruction System for Clinical Case Teaching, Meth. Inform. Med. 33, 433-445.

[4] Gappa, U., Puppe, F. and Schewe, S., 1993: Graphical knowledge Acquisition for Medical Diagnostic Expert Systems, Artificial Intelligence in Medicine 5, 185-211.

[5] Puppe, F., Gappa, U., Poeck, K. und Bamberger, S., 1996: Wissensbasierte Diagnose- und Informationssysteme, Springer.

[6] Puppe, F. and Reinhardt, B., 1995: Generating Case-Oriented Training from Diagnostic Expert Systems, Machine Mediated Learning 5, (3&4), 199-219.

[7] Schewe, S., Quack, T., Reinhardt, B., and Puppe, F., 1996: Evaluation of a knowledge-based tutorial program in rheumatology, Proc. 3rd Intelligent Tutoring Systems (ITS-96), Montreal, Springer, 531-539.

[8] Schewe, S. and Schreiber, M., 1993: Stepwise Development of a Clinical Expert System in Rheumatology; The Clinical Investigator 71, 139-144.

[9] Shute, V. and Regian, W., 1993: Principles for Evaluating Intelligent Tutoring Systems, Journal for Artificial Intelligence and Education 4 (2/3), 245-271.

[10] Woolf, B.: AI in Education, in Shapiro, S., (ed.) 1992: Encyclopedia of Artificial Intelligence, Vol 1., 2. Edition, Wiley, 434-444.