Kritik von Symptomerkennung in einem Hypertext-Dokument

Bettina Reinhardt
Universität Würzburg, Lehrstuhl für Informatik VI,
Allesgrundweg 12, 97218 Gerbrunn

Email: reinhard@informatik.uni-wuerzburg.de

Zusammenfassung

Hypertext-Dokumente können in Kombination mit Expertensystemen vielseitig verwendet werden. Eine mögliche Anwendung solcher Dokumente im Rahmen von tutoriellen Diagnosesystemen ist die Darstellung von Fällen, die der Benutzer diagnostiziert. Die Verhaltensweise, Schlußfolgerungsfähigkeit des Lernenden und seine Fähigkeiten zum Erkennen von Merkmalen in einem Hypertext-Dokument kann so kritisiert werden.

Schlüsselwörter

Expertensysteme, Tutorsysteme, Hypertext, Hypermedia.

1 Einleitung

Sowohl Expertensysteme als auch Hypertextsysteme sind in verschiedenen Bereichen schon erfolgreich eingesetzt worden und haben sich als Medien zur Verarbeitung und Verbreitung von Wissen bewährt. Während Hypermedia sich hauptsächlich mit der Darstellung von Wissen beschäftigt, versuchen Expertensysteme, Wissen auf verschiedene Arten zu nutzen. Es liegt daher nahe zu untersuchen, inwieweit diese beiden Methoden miteinander verbunden werden können.

Hypertextsysteme und Expertensysteme bieten verschiedene Möglichkeiten der Kopplung. Besonders in Verbindung mit einer tutoriellen Nutzung ist eine Visualisierung von Daten der Wissensbasen wichtig, um eine möglichst reale Ablaufumgebung für den Lernenden zu schaffen.

In Kapitel 2 wird auf grundlegende Konzepte der Kopplung zwischen Expertensysteme und Hypertext-Dokumente eingegangen, während im darauffolgendem Abschnitt das grundlegende Konzept des vorliegenden Systems erläutert wird. Nach der Präsentation einer Beispielsitzung werden die hypermedialen Aspekte des Systems erläutert. In Kapitel 6 wird auf die Erfahrungen in der Praxis eingegangen, bevor in der abschließenden Diskussion das Konzept kritisch durchleuchtet wird.

2 Kopplung von Hypertext- und Expertensysteme

Um auf die Kopplung dieser beiden Systemtypen eingehen zu können, müssen die Begriffe genügend geklärt sein: * Expertensysteme sind Programme, mit denen das Spezialwissen und die Schlußfolgerungsfähigkeit von Experten auf eng begrenzten Aufgabengebieten nachgebildet werden soll. Die Wissensbasen von Expertensysteme können auch für tutorielle Zwecke verwendet werden [11].

Eine Expertensystemshell ist ein Programm, aus dem durch Hinzufügen einer Wissensbasis ein Expertensystem entsteht, d.h. die vollständigen Werkzeuge zur Eingabe und Verarbeitung des Wissens sind vorgegeben und es muß nur für die Anwendung spezifisches Wissen integriert werden.

* Ein Hypertext ist ein Text, dessen logische Einheiten in nichtsequentieller Weise miteinander verbunden sind. Seine Erzeugung, Manipulation und Verbreitung wird mit Mitteln modernster Technik geleistet. Ein Hypertextsystem besteht aus Hypertext zusammen mit dem ihn bearbeitenden Werkzeug [6].

Wozu kann man also Hypertextsysteme in Verbindung mit Expertensystemen nutzen? Eine in [7] beschriebene Anwendung befaßt sich mit der Dokumentation der Wissensakquisition, also der Eingabe des Expertenwissens durch einen Wissensingenieur, so daß die Entwicklung der Formalisierung der Daten protokolliert wird. Eine andere Anwendung von Expertensystemen ist, wie oben schon erwähnt, die Nutzung des Systems zu tutoriellen Zwecken.

Intelligente Tutorsysteme haben die Aufgabe, mit Hilfe von Sachwissen, pädagogischem Wissen und flexiblen kognitiven Fähigkeiten Faktenwissen oder Einsichten zu vermitteln [13]. Für eine tiefergehende Behandlung von Intelligenten Tutorsystemen sei auf ([2], [3], [5][11]) verwiesen.

Gerade für Lernsysteme ist es erstrebenswert, dem Lernenden eine natürliche Ablaufumgebung zu präsentieren. Hypermedia-Dokumente können bis zu einem gewissen Grad natürliche Situationen mit Bildern, Texten, Tönen u.ä. sehr gut simulieren [8]. Deshalb liegt die Verwendung solcher Dokumente in Expertensystemen nahe. Eine Möglichkeit zur Kopplung wäre die Verwendung von Hypermedia-Dokumenten zur Erklärung, d.h. ein Merkmal wird in dem System nicht textuell beschrieben, sondern durch ein entsprechendes Dokument präsentiert. Ein Beispiel hierfür wäre die Blütenform einer Pflanze oder das Geräusch eines defekten Motors.

Ebenso kann die Darstellung von Merkmalen dazu verwendet werden, daß der Lernende die korrekten Merkmale aus einem Hypertext-Dokument erkennen muß. Die erkannten Merkmale werden dann von einer Kritikkomponente untersucht und das Ergebnis dem Lernenden präsentiert. Hypermedia wird hier also nicht nur zur Darstellung, sondern auch zum Abprüfen von Wissen verwendet.

Ein Konzept, welches die zweite Möglichkeit der Kopplung von Hypertext- und Expertensysteme betrifft, wird im folgenden Abschnitt behandelt. Für eine tiefergehende Beschäftigung mit Expertensystemen sei auf [10] verwiesen.

Ein System, welches eine Verknüpfung von wissensbasiertem Lernsystem und Hypermedia vorsieht, ist ANATOM-TUTOR [9], der aber keine direkte Kritik von erkannten Wissen bereitstellt.

3 Konzept zur Kritik der Symptomerkennung

Die für dieses Konzept verwendeten Bauteile sind die Expertensystemshell D3 [1] und das Hypertextwerkzeug D3-HITS [12]. Die Anwendungsmöglichkeiten beider Systeme reichen über die hier dargestellte Funktionalität hinaus und werden in der entsprechenden Literatur vollständig beschrieben.

Stark vereinfacht wird in der Expertensystemshell eine Wissensbasis erstellt, indem Symptome (Merkmale) und Diagnosen (Lösungen) durch Beziehungswissen (Regeln) verknüpft werden. Mit dieser Wissensbasis werden Bilder, Texte und Töne[1] durch das Hypertextwerkzeug D3-HITS[2] verbunden. Ebenso werden Verbindungen von sensitiven Stellen, die in den Objekten des Hypertext-Dokuments definiert werden, zu Symptomen und Diagnosen der Wissensbasis erstellt.

Sowohl die Eingabe der eigentlichen Wissensbasis, die nicht nur für den tutoriellen Zweck, sondern z.B. auch zur Diagnose verwendet werden kann, als auch die Eingabe der Hypertextknoten und -links werden soweit wie möglich grafisch unterstützt. So ist es einem Experten möglich, nach einer kurzen Einführung in die Systeme eigenständig eine Anwendung zu entwickeln. Diese Methode hat einige Vorteile gegenüber der traditionellen Methode der Wissensakquisition über einen Wissensingenieur, verlangt aber auch im Autorenbereich einen besondere grafische Unterstützung bei der Eingabe von Wissen.

Durch vom Experten definierte Verbindungen kann nun ein Fall[3] der Wissensbasis durch ein Hypertext-Dokument dargestellt und die von dem Lernenden erkannten Symptomausprägungen können eingegeben und kritisiert werden. Ein Hypertext-Dokument in D3-HITS besitzt ein Startfenster, welches den ersten Eindruck eines Falles simulieren soll. Das kann in medizinischen Anwendungen z.B. das Porträt eines Patienten, in der Pflanzenerkennung das Bild einer Pflanze sein. Dieses Startfenster ist dann mit Vergrößerungen, Detailaufnahmen oder ähnlichen Fenstern verbunden, die auf Anforderung geöffnet werden.

In der Dialogumgebung von D3-HITS sind die angebundenen Folgefenster von sensitiven Feldern durch ein Pop-Up-Menu aufrufbar. In Abbildung 1 wird ein Bildfenster mit zwei Nachfolgefenstern, die aus einem nicht gekennzeichneten sensitiven Feld aufrufbar sind gezeigt. Die Auswahl des Pop-Up-Textes hat zur Folge, daß der angebundene Knoten[4 , in diesem Fall ein Bild, geöffnet wird. Bevor aus z.B. einem Bild Nachfolger aufgerufen werden können, müssen erst klicksensitive Stellen erkannt werden, da auch das Auffinden von relevanten Bildstellen zum Erlernen eines Fachbereichs gehört. Dies geschieht durch Suchen mit dem Cursor, der seine Form ändert, wenn er über ein sensitives Feld bewegt wird. Durch Klick auf das Feld erscheint ein Pop-Up-Menu zur Auswahl der Nachfolgeobjekte. Optional können aber diese Stellen auch schon vom System umrahmt werden, um einen Neuling nicht zu überfordern.

Bei Ablauf einer Sitzung kann der Lernende jederzeit einen Lösungsvorschlag, in D3 als Diagnose bezeichnet, vorschlagen, die das System sofort untersucht und bewertet. Um dies zu tun, wählt der Benutzer eine Diagnose aus einer Hierarchiedarstellung aller Diagnosen die gewünschte aus und bekommt die Bewertung des Systems für seine Wahl präsentiert.

Auch können zu jedem Zeitpunkt die bisher eingegebenen Symptome kritisiert werden. Während der Sitzung werden die Symptome dem Benutzer entweder durch Text oder durch Bilder präsentiert. Die durch Bilder präsentierten Symptome muß er in einem Fragebogen belegen und seine Eingaben werden dann auf Wunsch mit den korrekten Antworten verglichen. Zu jedem falsch erkannten Symptom kann die richtige Belegung und/oder ein Bild, in dem man diese Symptomausprägung erkennen konnte, angefordert werden.

Ein Hypertext-Dokument wird nun mit einem existierenden Fall verbunden und alle nicht in Bildern darstellbaren Symptome, z.B. Alter des Patienten, Fundort der Pflanze, werden in den Fragebögen textuell vorgegeben. Die Fragen der erkennbaren Symptome, z.B. Hautrötung, Blütenfarbe sind in den Fragebögen leer und müssen durch den Lernenden ergänzt werden.

Der Vorteil dieses Konzepts ist, daß zusätzlich zur Überprüfung der Diagnose und der erkannten Symptome die Schlußfolgerungsfähigkeit berücksichtigt werden kann. In einem herkömmlichen System können die Aktionen des Lernenden nur in einem bestimmten Rahmen überprüft werden. Durch die Fähigkeit des Expertensystems auf variablen Eingaben zu schließen, d.h. es aktualisiert bei jeder neuen Eingabe die Menge der verdächtigen Lösungen. Gibt der Lernende ein falsch erkanntes Symptom ein, behandelt der Problemlöser des Expertensystems diese Eingabe als wäre sie korrekt und leitet neue Lösungen auf dieser Grundlage her. So kann nun überprüft werden, ob der Tutand in seiner Vorgehensweise oder in seiner Fähigkeit, Merkmale zu erkennen Probleme hat. Wenn er z.B. eine Pflanze noch nie gesehen hat und nur aus den von ihm erkannten Merkmalen und angelesenen Wissen aus einem Fachbuch folgert, kann es vorkommen, daß er durch das fehlerhafte Erkennen eine inkorrekte Pflanze auswählt. Anstatt ihm nur die Kritik an der Pflanze zu geben, kann mit dem hier beschriebenen Konzept viel detaillierter reagiert werden, in dem nur seine Merkmalserkennung nicht aber seine Schlußfolgerungsfähigkeiten kritisiert werden. Das heißt er wird darauf hingewiesen, daß er richtig gefolgert hat, also keinen Fehler in seinem Grundwissen hat, sondern ein Merkmal falsch klassifiziert hat. Ein Bild mit dem entsprechenden Merkmal und die richtige Bezeichnung wird ihm nun zur Verfügung gestellt.

Die Vorteile dieses Konzepts sind also die Verbindung zwischen der Schlußfolgerungsfähigkeit der Expertensystemshell D3 und der Fallpräsentation und Symptomkritik des Hypertextsystems D3-]HITS, die diese erweiterten Kritikansätze unterstützen.

4 Beispiel

Im Folgenden wird nun eine beispielhafte Sitzung an der momentanen Version vorgestellt, wie sie auch in einem Kurs mit Biologiestudenten vorstellbar ist. In diesem Beispiel sind natürlich nicht alle Optionen und Möglichkeiten des Systems aufgezeigt, es gibt aber eine Vorstellung über das allgemeine Konzept. Sinn dieser Anwendung ist die Unterstützung von Biologiestudenten des 2. Semesters bei ihrem Pflanzenerkennungskurs.

Zu Beginn einer Sitzung werden zwei Fenster geöffnet, ein Einführungsfenster mit einigen Hinweisen auf den Ablauf und das Startfenster des angebundenen Hypertext-Dokuments. Abb. 1: Nachdem das Bildsystem geladen wurde, erscheinen das entsprechende Startfenster und ein Erklärungsfenster zur weiteren Vorgehensweise. Der Benutzer kann nun das Bildsystem untersuchen, den zugehörigen Fall aufrufen oder einen Diagnose-verdacht kritisieren lassen. Der Anwender untersucht das Startfenster genau und öffnet einige Folgefenster Bevor er jedoch ein Nachfolgefenster öffnen kann, muß er erst die relevanten Stellen des Bildes finden. In dieser Anwendung sind die sensitiven Felder der Bilder nicht eingezeichnet und der einzige Hinweis ist der Cursor, der sich beim Bewegen über ein solches Feld verändert. Grundsätzlich können die Felder auch schon eingezeichnet werden, um den Tutanden das Aufrufen von Nachfolgern zu erleichtern. Dennoch gilt auch hier, daß schon das Auffinden dieser Felder einen Lerneffekt haben kann.

In Abbildung 2 sieht man einige der an das Startbild angebundenen Bildfenster, wie Vergrößerungen, Querschnitten und Detailaufnahmen aus anderen Perspektiven. Zu jedem Bild ist vermerkt, welche Symptome darauf erkennbar sind und können später zur Erklärung aufgerufen werden. Abb. 2: Einige Bilder des Bildsystems, die aus dem Startbild aufgerufen werden können. Die Bilder sind untereinander verbunden und können ebenfalls mit Pop-Up-Menus aufgerufen werden. In jedem dieser Fenster sind klicksensitive Stellen, aus denen durch Klick ein Pop-Up-Menu mit den vom Experten definierten Nachfolgern aufklappt. Nachdem der Benutzer einige Bilder gesehen hat, entscheidet er sich dafür, sofort einen Diagnoseverdacht zu äußern. Dazu wird die Diagnosehierarchie der Wissensbasis geöffnet und der Benutzer wählt sich eine Diagnose aus. In einer späteren Version soll an dieser Stelle auch eine Freitexteingabe möglich sein, um den Tutanden nicht die Möglichkeit des Ratens aus gegebenen Diagnosen zu ermöglichen. Abb. 3: Aus der Diagnosehierarchie wird die Diagnose Gem. Scharfgarbe ausgewählt. In dem Fenster Diagnose-Kritik wird die aktuelle Punktbewertung der falschen Diagnose ausgegeben und ein Hinweis auf die Punktebedeutung gegeben. Zu Grunde liegen hier die in der Expertensystemshell D3 verwendeten Punktebewertungen. Die ausgewählte Diagnose entspricht nicht der gesuchten und der Lernende bekommt deshalb eine entsprechende Meldung (Abbildung 3). Hier wird auch eine aktuelle Punktbewertung ausgegeben, um dem Benutzer einen Hinweis zu geben, wie sehr er sich geirrt hat. Zu diesem Zeitpunkt wurde der Problemlöser des Expertensystems noch nicht benutzt, die Diagnose hat also auch noch keine Bewertung, was einer Punktzahl von 0 Punkten entspricht. Das Bewertungssystem durch Punkte hat den Vorteil einer genauen Einschätzung. Eine Diagnose wird ab 10 Punkten verdächtigt und ab 42 Punkten etabliert.

Unser Benutzer entscheidet sich nun doch, den Fall aufzurufen, um einige Symptome einzugeben. Abb. 4: Fragebögen zu den drei Frageklassen der Wissensbasis. In jedem Fragebogen sind die nicht erkennbaren Symptom-belegungen schon eingetragen, wohingegen die nicht eingetragenen Antworten in dem Bildsystem zu erkennen sind. Der Benutzer ist jetzt ein bißchen vorsichtiger geworden und beantwortet alle Fragen, bevor er wieder eine Verdachtsdiagnose überprüfen läßt, obwohl er dies zu jeder Zeit hätte tun können. Abb. 5: Der Benutzer wählt die Diagnose Margerite, die zwar nicht korrekt ist, aber mit den eingegebenen Symptombelegungen hergeleitet werden kann. Er wird auf diese Tatsache hingewiesen und es wird ihm empfohlen, seine selbst erkannten Symptome überprüfen zu lassen. Er wählt eine andere Diagnose, die von dem System untersucht wird. Die Wahl wird mit der korrekten Diagnose verglichen, aber auch diesmal hat sich der Benutzer getäuscht. Doch der Problemlöser, der auf Basis der von dem Benutzer eingegebenen Symptome geschlossen hat, ist zu derselben Diagnose (Abbildung 5) gekommen. Dies kann passieren, wenn der Benutzer aus den falsch erkannten Symptomen korrekte Schlußfolgerungen zieht.

Da der Benutzer natürlich wissen möchte, welche Symptome er falsch erkannt hat, klickt er auf den Button Symptome kritisieren in dem Diagnosebewertungs-Fenster.

Daraufhin wird ein Symptombewertungs-Fenster geöffnet, in dem alle richtig und alle falsch erkannten Symptombelegungen getrennt aufgeführt sind. Zu jeder Symptombelegung kann der Benutzer die korrekte Belegung und/oder das entsprechende Objekt des Hypertext-Dokuments anfordern, in dem er die Belegung hätte erkennen müssen. In einem Bild ist auch die genaue Stelle durch einen Rahmen gekennzeichnet. Abb. 6: In einem Fenster werden alle falsch und richtig belegten Symptome als Klicktexte angezeigt. Der Benutzer kann zu jedem Symptom ein Bild anfordern, in dem er diese Symptombelegung erkennen konnte. Zu den falsch erkannten Symptomen kann er zusätzlich die richtige Belegung präsentiert bekommen. Abb. 7: Der Benutzer hat nun die richtige Diagnose erkannt. Nachdem er dies in dem Fenster Diagnose-Kritik bestätigt bekommt, kann er den Fall abbrechen. Nachdem er alle korrekten Antworten gesehen hat, ist sich der Benutzer nun ganz sicher und möchte wieder eine Diagnose überprüft haben. In der Diagnosehierarchie wählt er die korrekte Diagnose aus. Dies wird ihm auch durch die Diagnosekritik bestätigt und er schließt den Fall ab.

5 Hypermediale Aspekte des Systems

In welcher Hinsicht ist also das hier vorgestellte System ein Hypermediasystem? Der wichtigste Aspekt eines solchen Systems sollte die Nichtlinearität sein und erst in zweiter Linie die Verknüpfung verschiedener zeitabhängiger und zeitunabhängiger Medien. In Abbildung 8 werden die verschiedenen nichtlinearen Verbindungen der Anwendung verdeutlicht: Wie in einem Hypertext-Dokument zur Präsentation von Daten sind verschiedenartige Hypertextknoten in einer Netzstruktur verbunden und können über klicksensitive Sektionen in den Knoten aktiviert werden. Zusätzlich existieren Links[5] zwischen Hypertextknoten und Teilen der Wissensbasis, die in bestimmten Situationen von dem Benutzer aufgerufen werden können. Grundsätzlich muß man zwei Typen von Verbindungen unterscheiden: die schon in der Wissensbasis vorgegebenen Verbindungen zwischen Symptomen, Diagnosen und Fällen, die für alle Anwendungen der Wissensbasis benutzt werden und Beziehungen zwischen Hypermediaknoten untereinander und zu der Wissensbasis. Diese Links werden ausschließlich für diese Hypermedia-Anwendung erstellt und nur hier benutzt. Abb. 8: In D3-HITS sind sowohl die verschiedenen Hypertextknoten, wie Bilder, Texte und Töne, als auch Teile der Wissensbasis, wie Symptome, Diagnosen und Fälle, nichtlinear verbunden. Die grauen Pfeile symbolisieren die Verbindung von Fällen zu Symptom- und Diagnosemengen in der Wissensbasis, d.h. diese Verbindungen sind schon in der Wissensbasis enthalten und müssen nicht neu eingegeben werden. Die Links zwischen Fall- und Symptommenge zu Hypertextknoten, die hier schwarz gezeichnet wurden, werden von dem Autor des Hypertext-Dokuments definiert und werden nur für diesen Zweck genutzt. Was nun den zweiten Aspekt betrifft, sind nur Texte, Grafiken, Bilder und Töne vertreten, was noch nicht wirklich der Idee eines HyperMEDIAsystems Genüge tut. Durch den internen modularen Aufbau von D3-HITS, welches in der objektorientierten Programmiersprache CLOS implementiert wurde, ist die Integration weiterer Medien wie Animationen und Videosequenzen nur eine Frage der Zeit.

6 Erfahrungen

Das hier vorgestellte Konzept und seine Implementierung wurden im Sommersemester 1994 an der Universität Würzburg zum ersten Mal unter realen Bedingungen getestet. Die Wissensbasis Pflanzenerkennung [4] wurde um die benötigten Bilder und Verbindungen erweitert. Das heißt zu den existierenden Symptomen, Diagnosen und Regelwissen wurden Pflanzen eingescannt und in D3-HITS eingebunden.

Als zusätzliche Übung zum Praktikum Pflanzenerkennung für Biologiestudenten im 2. Semester wurde auf freiwilliger Basis ein Kurs mit dem hier vorgestellten System angeboten, der von einigen Studenten regelmäßig besucht wurde. Das System wurde positiv aufgenommen und zur Vertiefung von Wissen als nützlich bewertet.

Grundsätzlich stellten wir fest, daß Studenten, die vorher kaum Kontakt zu Computern hatten, besser mit dem System zurecht kamen, als versierte DOS- oder Windowsanwender. Dieselbe Erfahrung machten wir bei einigen Vorführungen, an denen sowohl Informatikstudenten wie Studenten aus anderen Bereichen vertreten waren. Nach einer kurzen Einarbeitung und einigen Erklärungen zur unterschiedlichen Handhabung von Macintosh-Oberflächen wurde uns aber im allgemeinen eine positive Reaktion entgegengebracht.

7 Diskussion

Der Vorteil des hier dargestellten Konzepts zur Kopplung der Expertensystemshell D3 und des Hypertextwerkzeuges D3-HITS ist die Kritikfähigkeit bezüglich der Schlußfolgerungen und die Darstellung von Fällen in einer Umgebung, die der natürlichen Umgebung[6] angenähert wird. Eine vollkommene Angleichung der realen und der computersimulierten Umgebung kann kaum erreicht werden, da der Tast- und Geruchsinn nicht nachgebildet werden kann. So kann weder an einer Blume gerochen, noch ihre Blattbehaarung erfühlt werden.

Der Benutzer muß aber alle enthaltenen Merkmale aus einem Hypertext-Dokument erkennen und daraus schlußfolgern, während beide Aufgaben über-wacht und kritisiert werden. Sämtliche Angaben, die nicht erkannt werden könne, wie z.B. der Geruch einer Pflanze muß über eine Textausgabe vorgegeben werden.

Im Moment ist die Kritik des Lernenden noch ein elementarer Vergleich der Eingabe mit dem abgespeicherten Fall ohne Berücksichtigung von Besonderheiten, was aber in der Weiterentwicklung verstärkt berücksichtigt wird. Ebenso wird eine Integration mit der existierenden Tutorkomponente der Expertensystemshell D3 eine zusätzliche Erweiterung der Kritikfähigkeit des hier aufgezeigten Ansatzes liefern. Vor allem im Bereich der Diagnosekritik und der Schlußfolgerungsfähigkeiten werden entscheidende Veränderungen vorgenommen werden.

Die geplanten Erweiterungen des Hypertextwerkzeuges D3-HITS bezüglich Tönen und später evtl. Videosequenzen und Animationen wird die Qualität der Fallpräsentation noch weiter steigern und die Attraktivität des Systems erhöhen.

An dieser Stelle möchte ich noch einmal Roman Ernst für sein Engagement, seine Kritik bei der Entwicklung von D3-HITS und für die Durchführung des Kurses danken. Ebenso gilt mein Dank allen Entwicklern der Expertensystemshell D3, besonders aber Prof. Frank Puppe und den Mitarbeitern seines Lehrstuhls.

Literatur

1. Bamberger S., Gappa U., Goos K., Meinl A., Poeck K. und Puppe F. (1994) Das Diagnostik-Expertensystem-Shell D3, Handbuch Version 1.0, Universität Würzburg

2. Burns H., Parlett J.W., Redfield C.L. (1991) Intelligent Tutoring Systems, New Jersey LEA

3. Clancey W.J., Soloway E. (1991) Artificial Intelligence and Learning Environments, MIT Press

4. Ernst R. (1993) Studienarbeit der Biologie, Universität Würzburg

5. Goodyear P. (1991) Teaching Knowledge and Intelligent Tutoring, Ablex Publishing Corporation

6. Hofmann M., Cordes R., Langendörfer H. (1989) Hypermedia, Informatik-Spektrum 12/4

7. Neubert S., Studer R. (1993) Einsatz von Hypermedia beim Wissenserwerb; aus: Böcker H., Glatthaar W., Strotthott T. Mensch-Computer-Kommunikation, Springer Verlag

8. Nielsen J. (1990) Hypertext and Hypermedia, Academic Press, Inc.

9. Niggemann J., Beaumont I., Paul V., Brückner R. ANATOM-TUTOR Ein wissensbasiertes Unterrichtssystem für Medizinstudenten, Entwicklungsbericht Fraunhofer-Institut für biomedizinische Technik (IBTM)

10. Puppe F.(1990) Einführung in Expertensysteme, Studienreihe Informatik, Springer Verlag

11. Puppe F.(1992) Intelligente Tutorsysteme, Informatik Spektrum, Band 15 Heft 4 1992

12. Reinhardt B. (1993) D3-HITS - Entwicklung und Implementierung eines Hypertextwerkzeuges für die tutorielle Komponente der Expertensystemshell D3, Diplomarbeit an der Universität Würzburg, Lehrstuhl für Künstliche Intelligenz

13. Rhein U., Puppe F. (1994) Einsatz eines Tutorsystems in der Medizin, 7. Arbeitstreffen der GI-Fachgruppe "Intelligente Lehr-/ Lernsysteme" Ulm