Workshop der GMDS "CBT in der Medizin"

Proceedings zum Workshop in Aachen, 6.-7.Juni 1997

H. Conradi, R. Kreutz, K. Spitzer (Hrsg.)

Fallorientierte intelligente Trainingssysteme

Bettina Reinhardt, Frank Puppe

Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik

Universität Würzburg

Am Hubland 6 97074 Würzburg

{reinhardt, puppe}@informatik.uni-wuerzburg.de

Medizinische Lehr- und Lernsysteme haben sich seit einigen Jahren in der universitären Ausbildung durchgesetzt und werden als zusätzliches Lernmedium von Lehrenden und Lernenden angenommen. Die meisten dieser System sind jedoch mit erheblichen Kostenaufwand entwickelt worden. Außerdem beruhen viele Anwendungen auf einem Hypertext basierten Ansatz mit fest vorgegebener Verzeigerungsstruktur, der eine Erweiterung und Umsetzung auf ein anderes Teilgebiet erschwert. Die Expertensystemtechnik bietet schon lange die Möglichkeit, medizinisches Wissen zur Diagnoseunterstützung in verschiedenen Wissensbasen zu konservieren. Hier wird nun der Versuch, aus existierenden Wissensbasen fallbasierte Lernsystem zu generieren und deren Einsatz beschrieben. Einer der größten Vorteile ist die Möglichkeit, einen neuen Fall in kurzer Zeit einzubauen, ohne an Wissensbasis oder Programm Änderungen vornehmen zu müssen.

Keywords:Intelligente Tutorsysteme, Expertensysteme

Einleitung

Der Computer wurde schon sehr früh für die medizinische Ausbildung entdeckt und hat sich in den Jahren in verschiedenen Richtungen weiterentwickelt. Computerbasiertes Lernen besitzt besondere Möglichkeiten der Präsentation von Lerninhalten durch die neuen Medien und fördert so deren Anschaulichkeit. Durch seine vielseitigen Techniken kann z.B. der erfolgsmotivierte Lerner durch unmittelbare Rückmeldung motiviert werden, wohingegen der mehr zurückhaltende Lerner durch die Anonymität des Mediums seine Angst abbauen kann und Bereitschaft zum Experimentieren entwickeln kann. [2]

Viele Programme versuchen durch Hypermedia-Techniken ein ideales Nachschlagewerk zu entwickeln, während andere Systeme zur reinen Prüfungsunterstützung gedacht sind und die möglichen Fragen und richtigen Antworten einüben. Die hier vorgestellten Programme sind dazu gedacht, schon vorhandenes Wissen auf die reale Situation, also auf die Untersuchung eines Patienten, anzuwenden und durch diese Problemsituation sicherer im Umgang mit realen Patienten zu werden.

Intelligente Tutorsysteme

Intelligente Tutorsysteme beruhen auf dem Grundgedanken, daß man durch die deklarative Darstellung von Wissen zur Problemlösung die Aktionen eines Studenten besser verfolgen kann. So wird dem Studenten auch erlaubt, Untersuchungen durchzuführen oder Diagnosen zu stellen, die, aus der Sicht eines Lernsystemautors, völlig sinnlos sind und deshalb in Programmen mit fest vorgegebenen Abläufen nicht berücksichtigt oder einfach nicht möglich sind.

Als Basis für solche Programme muß zumindestens ein grundlegende Wissen über die eigentliche Problemlösung vorhanden sein, was den Zusammenhang zu Expertensystemen nahelegt. Ein intelligentes Tutorsystem ([11],[18]) besteht im Idealfall aus den vier Komponenten:

Betrachtet man nun diese grundlegenden Bestandteile, fällt auf, daß zumindest das Domänenwissen durch eine Wissenbasis eines Expertensystems abgedeckt werden kann. Zusätzlich kann die Inferenzmaschine zur Bewertung der Aktionen des Lernenden benutzt werden und findet so seine Anwendung in der Didaktikkomponente. So gesehen müssen Expertensysteme, bzw. Expertensystem-Shells "nur" um eine tutorielle Umgebung erweitert werden, um ein intelligentes Tutorsystem bereit zu stellen.

Als erstes dieser Systeme kann sicher GUIDON betrachtet werden, ein Lehrsystem, das auf Basis des Expertensystems MYCIN entwickelt wurde [1]. Aber auch die Simulationsbasierten Lernsystem von [19] gehören in diesen Bereich. In [7], [5] und [17] werden Ansätze beschrieben, existierende Expertensysteme in eine Lernumgebung anzubinden, die aber weder den Weg in die Praxis gefunden haben, noch zu einem funktionierenden intelligenten Tutorsystem geführt haben. Vielmehr wurden in diesen Versuchen Expertensysteme in den normalen Schulunterricht integriert, die gesamte Erklärung aber von dem "menschlichen" Lehrer übernommen.

Im folgenden soll aber nun der Ansatz verfolgt werden, daß ein Tutorsystem eigenständig, d.h. ohne menschliche Aufsicht oder gar Erklärung, Studenten Problemstellungen darlegt und sie bei der Lösung dieser Probleme unterstützt und kritisiert.

Abbildung 1 Startansicht eines rheumatologischen Falles: In dem linken Fenster werden alle Symptome der Anamnese dargestellt. Durch die aufklappbare Hierarchie ist ein übersichtliche Anordnung der Symptome möglich, die aufgeklappt mehrere Bildschirmseiten füllen kann. Manche, durch das Apfelssymbol gekennzeichnete Symptome sind durch zusätzliche Bilder (rechtes Fenster) illustriert.

Der Expertensystembaukasten D3 [12] besitzt eine solche tutorielle Komponente, den Trainer, der das Problemlöseverhalten eines Studenten aufgrund der Regeln einer Wissensbasis kritisieren kann.

Der Trainer ([13], [15]) arbeitet fallorientiert mit den Studenten, d.h. sie bekommen einen Patienten vorgestellt, den sie diagnostizieren können. In der einfachsten Stufe, dem geführten Test, werden dem Studenten die Patientendaten in Gruppen, wie Anamnese, körperliche Untersuchungen, Labor und technische Untersuchungen, präsentiert (Abbildung 1) und nach jeder Gruppe muß ein Verdacht (Abbildung 3) geäußert werden. Die Verdachtsäußerung geschieht über die Auswahl von ein oder mehreren Diagnosen aus einer geordneten Hierarchie und wird im Vergleich zu den von dem Expertensystem hergeleiteten Diagnosen kritisiert. In diesem Szenario lernt der Student explizit die Schlußfolgerung von Diagnosen aus den gegebenen Symptomen. In der zweiten Stufe, dem freien Test, erscheinen bei Fallbeginn nur die Basissymptome (meist nur die Anamnese und körperliche Untersuchung) und der Student muß die nächsten Untersuchungen (Abbildung 2) anfordern, auch hier kann er im Vergleich zu dem Wissen des Expertensystems bewertet werden. Zum Abschluß eines Falles des geführten Test oder zu jedem gewünschten Zeitpunkt im freien Test kann der Student die von ihm favorisierten Diagnose durch Auswahl von Symptomen begründen und erhält auch hierfür eine Bewertung (Abbildung 4).

Abbildung 2 Nachfragen in der hepatologischen Wissensbasis. In dem freien Test kann der Student jederzeit neue Information (Untersuchungen) anfordern. In einer Klapphierarchie sind alle möglichen Untersuchungen dargestellt und können durch Klick selektiert werden. Der Student hat nun mehrere Möglichkeiten, er kann sich mit Systemwahl den Vorschlag des Expertensystems ansehen und diesen wählen, zum zweiten kann er sich mit Kommentar seine bereits selektierten Untersuchungen bewerten lassen (und diese durch Auswahl von verdächtigen Diagnosen auch begründen), oder aber er kann mit Wählen einfach die von ihm gewünschten Untersuchungen durchführen lassen, die dann ohne Kritik in der Fallpräsentation angezeigt werden.

Die dritte Aufgabe in der Diagnostik neben Schlußfolgern und Nachfragen ist das Erkennen von Symptomen, das durch ein zusätzliches Hypermedia-Dokument (Abbildung 5) unterstützt wird. Der Student muß in den Bildern und Texten des Dokuments Symptome erkennen und diese in die Liste der Patientendaten eintragen. Da das System weiß, welche Symptome in den verschiedenen Elementen dargestellt werden, kann es diese Symptomerkennung ebenfalls vollständig kritisieren.

Generierte Trainingssysteme

Im Folgenden werden nun die drei wichtigsten, medizinischen Anwendungen vorgestellt, die schon mit Studenten getestet wurden. Zusätzlich existieren noch weitere Systeme, die bereits fertig oder in der Endphase ihrer Entwicklung sind, die aber noch nicht an Studenten getestet wurden, aber bereits jetzt gute Ergebnisse versprechen.

Rheumatologie

An der Poliklinik der Universität München wird seit einigen Jahren der Trainer mit einer rheumatologischen Wissensbasis eingesetzt und weiterentwickelt. Während die Wissensbasis zuerst als reine "Konsultationshilfe" gedacht war, wurden in einer Überarbeitung auf tutorielle Aspekte Rücksicht genommen.

 

Abbildung 2 Der Student wählt aus einer aufklappbaren Hierarchie für ihn mögliche Diagnosen aus und bewertet sie mit verdächtigt oder bestätigt. Der Trainer vergleicht sie mit den von dem Expertensystem hergeleiteten Diagnosen und kritisiert jede Diagnose einzeln. Durch Klick auf die Diagnosen können Erklärungen zu den Diagnosen und ihrer Bewertung angefordert werden.

Im Rahmen eines Kurses über Innere Medizin durchlaufen jede Woche vier Studenten die Rheumastation. Am ersten Tag untersuchen sie zusammen mit dem Dozenten (und Wissensbasisentwickler) Prof. Schewe einen echten Patienten. Am nächsten Tag werden sie in eine Computergruppe und eine Kontrollgruppe (Patientendaten in Papierform) eingeteilt und können den Patienten des Vortags und einen Patienten mit ähnlicher Symptomatik aber anderer Krankheit an den unterschiedlichen Medien nacharbeiten. Die Leistungen der Studenten werden durch einen Test vor und nach der Woche, sowie -im Vergleich zu anderen Gebieten der Inneren Medizin- in einem Abschlußtest des Kurses vergleichen. Die Ergebnisse zeigen eine gering bessere Bewertung für die Computerstudenten und ein generell besseres Ergebnis aller Studenten in der Rheumatologie. Grundsätzlich reagieren die Studenten durchwegs positiv auf den computerunterstützten Unterricht als zusätzliche Lernmöglichkeit. Genaue Daten über diese Untersuchung finden sich in [16].

Abbildung 3 Der Student begründet die Diagnose Lymearthritis durch Symptome, die er aus einer, der Fallpräsentation ähnlichen, Klapphierarchie auswählt und erhält auch hier eine Bewertung seiner Aktion. In diesem Beispiel hat er nicht alle der wesentlichen Symptome ausgewählt und bekommt deshalb nur eine mittlere Bewertung.

Bei der Anwendung des Trainers in der Rheumatologie ist vor allem anzumerken, daß es nur durch das leichte Erweitern der Fallbasis (ca. 10-15 Minuten Eingabe und Test) möglich ist, einen realen Patienten am nächsten Tag als Computerfall präsentieren zu können. Außerdem wird das Auffinden eines ähnlichen Falls durch den fallbasierten Problemlöser [4] von D3 unterstützt.

Abbildung 4 In einem Hypertextdokument werden Symptome des Patienten, z.B. das schmerzhafte Kniegelenk, dargestellt. Der Student muß erkennen um welche Befund es sich handelt und dies in der Fallpräsentation eingeben (seine Schlußfolgerungen werden nun aufgrund dieser Eingabe bewertet). Auch hier kann der Student sich bewerten lassen und findet einen Hinweis auf die richtige Lösung und evtl. die entsprechende Bildregion. Hier wird die Gesamtbewertung aller möglichen Symptome gezeigt, die entsprechend schlecht ausfällt, da er kaum Symptome eingegeben hat. Man kann auch zu jedem einzelnen Bild eine Kritik anfordern, die dann nur die Symptome behandelt, die in genau diesen Bild erkannt werden können.

Ein weitere wichtiger Punkt der Rheumatologie-Wissensbasis ist die Tatsache, daß es sich hier ausschließlich um reale (anonymisierte) Fälle handelt, die auch mehrere Diagnosen als Lösung haben können.

Seit kurzer Zeit wird auch Bildmaterial an Fälle der Fallbasis angebunden (Abbildung 5), so daß, neben Schlußfolgern und Untersuchungstechnik, auch das Erkennen von Symptomen durch die Studenten gefordert wird.

Die Wissensbasis kann ca. 130 Diagnosen erkennen und etwa 430 Symptome verarbeiten, die aber über eine stark strukturierte Dialogstruktur geordnet sind, so daß die Eingabe eines neuen Patientenfalles ca. 10-15 Minuten benötigt und durchschnittlich 100-150 Symptome erfragt.

Neurologie

Im Gegensatz zur rheumatologischen Wissensbasis wurde die neurologische Wissensbasis ausschließlich für tutorielle Zwecke entwickelt. Das daraus entstandene Trainingssystem Der fallbasierte Neurologie-Trainer ist mit einem Gutschein aus dem Buch Neurologie [9] des Wissensbasis-Entwickler Prof. K. Poeck erhältlich und wurde im Moment über 2500 verschickt.

Die Wissensbasis überdeckt ca. 200 Diagnosen und etwa 550 Symptome, aber auch hier benötigt die Eingabe eines neuen Falles nie mehr als 20 Minuten. Die Wissensbasis wurde mit 200 modellierten Beispielfällen getestet, die auch als Fallbasis für die ausgelieferte Version dienen und genau die Diagnosen des Neurologie-Buches abdecken.

Wie alle Wissensbasen in D3 wurde auch diese von dem Bereichsexperten, hier Prof. Poeck, weitgehend eigenständig, d.h. mit geringer Hilfe eines sogenannten Wissensingenieur, aufgebaut. Dies ist durch die graphische Wissensakquisition [3] möglich, die so dem Tutorsystem als Autorenseite zur Verfügung steht. In dem Fall des Neurologie-Trainers dauerte der Aufbau der Wissensbasis, das Sammeln und Testen der Fälle etwa 2 Jahre, in denen der Entwickler durchschnittlich zwei Stunden am Tag an dem System arbeitete.

Die Diagnosen sind in Diagnosengruppen aufgeteilt, so daß der Student implizit auch die Zusammengehörigkeit von Diagnosen lernt. Die Auswahl der Diagnosen aus einer (geordneten) Hierarchie ist somit einer Freitexteingabe oder einer einfachen Liste vorzuziehen.

Die Auswertung der zurückgesandten Fragebogen der Trainer-Benutzer ergeben als Hauptkritikpunkt meist die Beschwerde über die Antwortzeiten, die aber inzwischen durch schnellere Rechner stark zurückgegangen sind. Positive Anregungen gaben die (hauptsächlich) Studenten bezüglich einer Kopplung mit dem Lehrbuch, sowie der Vervollständigung des Systems auf Bilder und Töne. Beide Erweiterungen sind für die nächste Version geplant.

Hepatologie

Am Krankenhaus Köpenick in Berlin wurde von Prof. Buscher und seinen Mitarbeitern eine Wissensbasis entwickelt, die sowohl zur Konsultation als auch zur tutoriellen Nutzung geeignet sein sollte. Teilweise entstanden dadurch Interessenkonflikte bezüglich der schnellen Eingabe eines neuen Falles in der Konsultation mit der didaktisch sinnvollen Anordnung der Merkmale in dem Trainingssystem, die aber alle gelöst werden konnten.

Das fertige System Hepa-CADS wurde von Studenten, Assistenz- und Fachärzten getestet und die daraus entstandenen Bewertungen waren durchwegs positiv. Auch hier wurde verstärkt nach einer Illustration mit Bildern gefragt, die einzelne Krankheitsbilder verdeutlichen sollen.

Die Benutzerführung wurde als gut empfunden und schon bald stellte sich heraus, daß die Entscheidung für den geführten Test (ohne eigene Indikation von Untersuchungen durch den Lernenden) oder den freien Test (mit selbständiger Auswahl der Untersuchungen) nicht von der Qualifikation des Benutzers sondern vielmehr von persönlichen Vorlieben abhängt.

Die Wissensbasis beinhaltet ca. 300 Symptome und diagnostiziert damit etwa 130 Symptome. Im Moment wird das System inhaltlich überarbeitet und wird durch Bildmaterial komplementiert.

Bewertung und Zukunft

Es gibt verschiedene Ansätze ein Tutorsystem zu bewerten, die auf vorhandene Methoden in der Evaluation zurückgreifen. Ein Überblick über solche Methoden ist in [8] und [6] gegeben, während hier die davon ausgegangen wird, daß die verschiedenen Komponenten eines Systems unterschiedliche Methoden benötigen.

Ausgehend von den vier Grundkomponenten, die in einem idealen, intelligenten Tutorsystem miteinander harmonieren sollen, kann man verschiedene Ansatzpunkte verfolgen, wobei immer bedacht werden muß, daß der Student nie nur aus einer Quelle lernt und vielmehr ein Zusammenspiel verschiedener Medien und Methodiken den Lernerfolg ausmachen.

Domänenmodell

Der Trainer hat durch die graphische Wissensakquisition ein fast perfektes Autorensystem für seine diagnostischen Regeln. Es waren jedoch kleine Erweiterungen notwendig, um eine sinnvolle Nutzung aller Wissensbasen zu gewährleisten. Trotzdem kann man behaupten, daß die Möglichkeit für den Experten, sein Wissen selbst in Regel zu fassen und in die Wissensbasis zu formalisieren, eine stärkere Identifizierung des Mediziners mit dem System zur Folge haben, was den Einsatz der Systeme nur förderlich sein kann.

Die nun neu integrierten Bildmaterialen werden ebenfalls durch ein graphisches Werkzeug untereinander und mit den Elementen der Wissensbasis (Symptomen, Fälle) verbunden, so daß auch hier die Hilfe eines Wissensingenieurs unnötig ist.

In den Trainingssystemen werden komplexe, heuristische Regeln der Form

verwendet, die allerdings in der Bewertung und der Erklärung der Kritik aufgelöst werden. Der Student würde also z.B. folgende Darstellung (abhängig von dem aktuellen Fall) präsentiert bekommen:

Hinweisende Symptome zu Lymearthritis:

Diese Vereinfachung hat den Grund, daß die konkreten Regeln oft zu schwierig sind, um sie den Studenten direkt zu vermitteln. In der umgewandelten Form wird die Anwendung der Regel dargestellt, die für den Studenten leichter zu verstehen ist.

Studentenmodell

Die eben erwähnte Auflösung macht es auch schwierig, sich eine Vorstellung des Wissensstands zu machen. Ein Studentenmodell soll grundsätzlich die vier folgenden Fragen beantworten:

Während im Trainer eine Historie und im weiteren Sinne ein Persönlichkeitsprofil integriert sind, wurde die Modellierung des Studentenwissen bis jetzt außer acht gelassen.

In Zukunft wird folgendes Konzept in den Trainingssystemen verwirklicht werden: In einer sogenannten Erstpräsentation (z.B. elektronisches Lehrbuch) wird den Lernenden das theoretisch (also deklarative) Wissen in einer ansprechenden Weise präsentiert. Über gewisse Kontrollmechanismen kann man sich so ein Bild davon machen, welche Konzepte er zumindestens wissen sollte. Da sich hier die heuristischen Regeln didaktisch wenig sinnvoll erscheinen, ist eine Transformation auf überdeckende Regeln geplant, die die Form

WENN Lyme arthritis DANN Borrelien-Titer = IgG schwach positiv

haben. Im einer Trainingssitzung kann nun bei den Aktionen des Lernenden eine Verbindung zu den überdeckenden Regeln in D3 konstruiert und somit eine Verbindung zu der Erstpräsentation hergestellt werden. Die Idee könnte man als Overlaymodell mit überdeckende Regeln und der Kombination mit einer Erstpräsentation bezeichnen.

Didaktikkomponente

In dem D3 - Trainer wurden mehrere didaktische Konzepte und Entscheidungen, die den Systembenutzer überlassen werden, eingebaut. In [2] werden Kriterien für eine Lehrstrategie aufgezählt, von denen hier einige als Kriterien für die Bewertung der didaktischen Umsetzung in dem Trainer dienen:

Die zwei hervorstechenden didaktischen Entscheidungen des Trainers sind also die Trennung der Aufgaben, die der Student pro Fall gestellt bekommt, die sich an den drei diagnostischen Teilaufgaben orientieren, und die Fokussierung auf das wesentliche. In einem realen Fall kann es durchaus zu Mehrfachdiagnosen kommen, so daß mehrere Diagnosen durch den Studenten erkannt werden können. Möchte man jedoch nur auf eine Diagnose fokussieren, kann man den Fall soweit ändern, daß nur noch diese Hauptdiagnose durch das System gestellt wird. Da es aber auch für den Studenten sehr nützlich ist, den Orginalfall zu betrachten kann man im Trainer jeder Diagnose eine Gewichtung geben, die dazu führt, daß die Erkennung der Hauptdiagnose das wesentliche Lernziel des Falls wird, die Nebendiagnosen aber nicht verloren werden und auch durch den Studenten erkannt werden können.

Insgesamt betrachtet finden sich so in dem Trainer mehrere didaktische Vorgehensweisen und einige didaktische Entscheidungen, die der Student, bzw. der Domänenexperte, auswählen können. Die Integration dieser Methoden ist in enger Zusammenarbeit mit mehreren Wissensbasisentwicklern entstanden und ist so an die spätere Anwendungsumgebung angepaßt.

Benutzeroberfläche

Die Evaluation von Benutzeroberflächen kann man ab besten durch Feldversuche und Probeeinsätzen bei zukünftigen Benutzergruppen vornehmen. Die Gestaltung der Trainer-Oberfläche wurde in ständiger Kooperation mit den Wissensbasisentwickler geprägt. So arbeiteten entwicklungsbegleitend Benutzer verschiedener Gruppen (Studenten, Ärzte im Praktikum, Fachärzte) probeweise an dem System und sorgten so dafür, daß die Oberfläche immer an die realen Bedürfnisse angepaßt wurden ohne den Shellcharakter des Systems zu beeinflussen.

Den ersten Erfolg der generierten Trainingssystem war die verbesserte Benutzeroberfläche in Vergleich zu dem ersten Versuch TUDIS [10] eines Tutorsystems zu D3. Vor allen die aufklappbaren Hierarchien machen es den Studenten erst möglich, die umfangreichen Fallbeschreibungen in einer geordneten Form zu erarbeiten, während sie sich in TUDIS durch die Menge an Symptomen scrollen mußten und von der Unübersichtlichkeit erschlagen wurden.

Ein weiterer wichtiger Schritt war die Einführung von nur wenigen Bewertungskategorien, die auch durch entsprechende Bilder gekennzeichnet wurden. Die durchgängige Verbindung von Bewertung mit diesen Bildern erleichtert es den Studenten, Ihre Leistung einzuordnen.

Die nächste Phase, die durch die Einführung der Bildsysteme zur Symptomerkennung schon begonnen hat, wird die Integration von Multimedia-Material sein, die schon bei allen Anwendern vorbereitet wird. Zusammen mit der Anbindung der Erstpräsentation werden dann sehr attraktive individuelle Trainingssysteme entstehen.

Zusammenfassung

Die bis jetzt mit dem Trainer erstellten intelligenten Tutorsysteme haben sich als sinnvolle Erweiterungen zu herkömmlichen Lernmedien, wie Vorlesungen (Rheumatologie, Hepatologie) und Lehrbüchern (Neurologie) erwiesen. Sie zeichnen sich besonders durch ihre Flexibilität und Änderungsfreundlichkeit bei Wissens- und Fallbasis aus. Kleinere Probleme ergeben sich eher in der Oberfläche, da sie nicht vollständig an ein bestimmtes Gebiet angepaßt werden kann, findet der Trainer doch auch Anwendungen außerhalb der Medizin, z.B. in der Pflanzenerkennung [15] und Machinendiagnostik [14]. Durch die erwähnte Erweiterungen können aber auch diese Probleme reduziert und weitere Verbesserungen erzielt werden, wobei vor allem die Erstpräsentationen und ihre Kopplung zu dem Problemlösevorgang eine wichtige Rolle spielen werden.

Literatur

[1] Clancey W.J.: Guidon-Manage Revisited: A Socop-Technical Systems Approach. In: Journal of Artificial Intelligence in Education, 4(1), 5-34, 1993.

[2] Euler D.: Didaktik des Computergesteuerten Lernens - Praktische Gestaltung und Theoretische Grundlagen. In: Holz, H., Zimmer, G. (Hrsg.) Multimediales Lernen in der Berufsausbildung, Band 3, 1992.

[3] Gappa U.: Graphische Wissensakquisitionsysteme. DISKI, 1995.

[4] Goos K.: Fallbasiertes Schliessen. DISKI, 1995.

[5] Jacobsen R., Smith G.: Expert Systems: Using artificial intelligence to support students doing algebra homework. In: Journal of Artificial Intelligence in Education, Vol.2 (2), 1991

[6] Legree P., Gillis P., Orey M.: The quantitative evaluation of intelligent tutoring systems applicazions: product and process criteria. In: Journal of Artificial Intelligence in Education, Vol.4 (2/3), 1993

[7] Lippert R.: Teaching problem solving in mathematics and science with expert systems. In: Journal of Artificial Intelligence in Education, Vol.1 (2/3), 1990

[8] Mark M., Greer J.: Evaluation methodologies for intelligent tutoring systems. In: Journal of Artificial Intelligence in Education, Vol.4 (2/3), 1993

[9] Poeck K.: Neurologie. Springer, 1994.

[10] Poeck K., Tins M.: An intelligent tutoring system for classification problem solving. In: H.J. Ohlbach (Hrsg.), Proceeding sof the GWAI-92. Springer, 1993.

[11] Puppe F.: Intelligente Tutorsystem. Informatik Spektrum, 14, 195-207. 1992.

[12] Puppe F., Gappa U., Poeck K., Bamberger S.: Wissensbasierte Diagnose- und Informationssysteme. Springer, 1996.

[13] Puppe F., Reinhardt B.: Generating Case-Oriented Training from Diagnostic Expert Systems. In: Machine-mediated learning, 5 (3&4), 1995.

[14] Puppe F., Seidel G., Daniel M.: Qualifizierende Arbeitsgestaltung mit tutoriellen Expertensystemen für technische Diagnoseaufgaben. Abschlußbericht des Verbundprojekts. Interner Bericht Universität Würzburg, 1995.

[15] Reinhardt B.: Expert Systems and Hypertext for teaching diagnostics. In: Proceedings of the european conference of artificial intelligence in education, Lissabon 1996.

[16] Schewe S., Quak T., Reinhardt B., Puppe F.: Evaluation of a Knowledge-Based Tutorial Program in Rheumatology - A Part of a Mandatory Course in Internal Medicine. In: Proceedings of the third international conference ITS’96 (pp. 531 -- 539). Montréal, Canada, Springer, 1996.

[17] Thornburg M., Baer R., Ferrara J., Althopuse B.: Using expert Systems to teach concepts associated with special education eligibility decisions. In: Journal of Artificial Intelligence in Education, Vol.1 (3), 1990

[18] Wenger E.: Artificial intelligence and tutoring systems. Morgan Kaufman, 1987.

[19] Woolf B., Hall W.: Multimedia Pedagogues - Interactive Systems for Teaching and Learning. In: IEEE Computer, May, 74-80 1995.