Beitrag zum Workshop der GMDS Arbeitsgruppe CBT in der Medizin, April 1999 in Heidelberg

Kritikoptionen in fallbasierten Trainingssystemen

Bettina Reinhardt

Lehrstuhl für Angewandte Informatik und Künstliche Intelligenz

Universität Würzburg

reinhardt@informatik.uni-wuerzburg.de

Das Problemorientierte Lernen findet immer weiter seinen Einzug in die deutsche Medizinerausbildung. Zur Unterstützung der daraus resultierenden Lehrlandschaft können fallbasierte Trainingssysteme einen elementaren Beitrag leisten. Innerhalb dieser Systeme können verschiedene Aktionsmöglichkeiten angeboten werden, die für den erfolgreichen Einsatz wichtig sind. In diesem Beitrag werden mögliche Varianten angesprochen, wie solche Aktionen bewertet werden können und wie dies in einem wissensbasierten System umgesetzt wird.

Problemorientiertes Lernen

Problemorientiertes Lernen wird in Schulen und Hochschulen immer häufiger in die Studienprogramme eingebettet (siehe [1], [2]), so daß jedes Jahr immer mehr Studenten nach diesem didaktischen Ansatz unterrichtet werden. Vor allem in der Medizin, aber auch in anderen Bereichen der Diagnostik, wird seit den 70er Jahren diese neue Art zur Vermittlung von Wissen eingesetzt. Das Konzept des Problemorientierten Lernens (problem based learning) wurde zwar grundsätzlich auch schon in der Antike verwendet, findet aber nun in der modernen Ausbildung eine neue Ausprägung. Besondere Aufmerksamkeit erzielte das problemorientierte Lernen, als die Harvard Medical School 1985 den New Pathway einführte, ein Curriculum, welches sich vollständig auf problem based learning stützt.

Eine Definition von Barrows und Tamblyn (1980, zitiert in [3]) definiert problemorientiertes Lernen wie folgt:

"Problem based learning can be best defined as the learning that results from the process of working toward the understanding or resolution of a problem."

Das wichtigste Merkmal ist also, daß ein konkretes Problem (Fallstudie) als zentrales Element der Ausbildung genutzt wird. Klarer wird der Unterschied zu der traditionellen systematischen Ausbildung durch die Definition von Albanese und Mitchell (1993, ebenfalls zitiert in [3]):

"Problem based learning differs from other problem centered methods in that the problem is presented first, before the students have acquired the background facts or concepts."

Problemorientiertes Lernen ist eine Lehr- und Lernstrategie, die kritisches Denken und Problemlösevermögen verbunden mit Faktenwissen vermittelt. Der Lernprozeß wird durch ein interessantes Problem initiiert, welches der Student gerne lösen möchte. Die Probleme basieren auf einer Situation aus dem täglichen Leben ohne definiertem Ende, so daß genügend Möglichkeiten für Entwicklungen gegeben sind. Die Studenten sind selbst verantwortlich, die notwendigen Informationen zur Lösung des Problems zu finden. Lernen wird dadurch ein aktiver, integrierter, kumulativer und gemeinschaftlicher Prozeß, in dem der Lehrer nur eine unterstützende, nicht aber eine weisende Rolle einnimmt.

Nach der hier gegebenen Beschreibung kann das problemorientierte Lernen besonders gut in der Medizin eingesetzt werden, wie es ja auch bereits beispielsweise an der Universität München umgesetzt wird. Innerhalb dieser Ausbildungsumgebung können solche computerunterstützte Trainingssysteme gut eingesetzt werden, die dem Studenten die Bearbeitung eines Falles ermöglichen und ihn dabei unterstützen und bewerten.

Fallbasierte Trainingssysteme und ihre Kritikoptionen

Im Zusammenhang mit problemorientiertem Lernen können fallbasierte Trainingssysteme sinnvoll in der Ausbildung eingesetzt werden, indem sie zur Darstellung, Präsentation und Bearbeitung des Falles genutzt werden. Bevor weiter auf fallbasierte Trainingssysteme eingegangen wird, muß deren Charakteristik definiert werden. Unter einem fallbasierten Trainingssystem verstehen wir ein Computersystem mit folgenden Eigenschaften:

Im Bereich der diagnostischen Problemlösung müssen fallbasierte Trainingssysteme dem Studenten eine Lernumgebung bereitstellen, in der er komplexe Fälle lösen kann, wobei er in seinen Aktionen unterstützt und kritisiert werden kann. Betrachtet man also wieder die Aufgaben der diagnostischen Problemlösung, so gehen daraus direkt die Anforderungen an ein diagnostisches, fallbasiertes Trainingssystem hervor. Dem Studenten muß ermöglicht werden, folgende Aktionen durchzuführen, während das Programm diese kritisieren und seine Kritik erklären kann:

Intelligente Tutorsysteme können eine vielseitige Umgebung für den Lernenden anbieten, in der ihm auch Erklärungen und Kritik ermöglicht wird. Der Vorteil intelligenter Tutorsysteme beim diagnostischen Problemlösen ist, daß nicht alle möglichen Aktionen des Lernenden zuvor bedacht und fest verknüpfte Folgeaktionen des Systems bereitgestellt werden müssen. Intelligente Systeme, die selbst Problemlösefähigkeiten besitzen, können den Lernenden bei seinen Aktionen folgen und diese mit ihren eigenen Schlußfolgerungen vergleichen. Diese Kritik kann dann mit dem Wissensmodell erklärt und begründet werden. Zusammenfassend kann also gesagt werden, daß Systeme, die selbst Problemlösefähigkeiten besitzen, sich besonders gut für fallbasierte Trainingssysteme eignen.

Kritikoptionen in fallbasierten Trainingssystemen

In Bezug auf die in einem fallbasierten Trainingssystem möglichen Aktionen des Studenten können folgende Kritikmöglichkeiten für den Studenten in Betracht gezogen werden:

Im weiteren werden jetzt die hier aufgeführten Aktionen bezüglich ihrer Kritikoptionen besprochen.

Kritik der ausgewählten Verdachtsdiagnosen

Zu einer beliebigen oder durch das System vorgegebenen Zeit kann bzw. muß der Student seine Verdachtsdiagnosen benennen, wobei das Trainingssystem diese Auswahl durch Vergleich mit der eigenen Problemlösung bewertet. Schon die Auswahl der Verdachtsdiagnosen durch den Studenten kann in unterschiedlicher Weise erfolgen. So kann er eine Freitexteingabe von Diagnosebegriffen machen, während das Trainingssystem versucht, die eingegebenen Begriffe mit den intern vorhandenen Diagnosebegriffen zu vergleichen. In vielen Bereichen ist durch die Vielzahl an Synonymen und Abkürzungen die Nutzung von Wörterbüchern notwendig, um diese komplexe Aufgabe befriedigend zu erfüllen. Läßt man den Studenten nur aus den in dem Trainingssystem vorhandenen Diagnosen auswählen, bleibt die Möglichkeit, ihn aus allen möglichen Diagnosen auswählen zu lassen oder eine kleinere, gezielt selektierte Teilmenge an Diagnose anzubieten. Bei der Auswahl der Diagnosen aus den Systemdiagnosen wird das Terminologieproblem insoweit umgangen, daß der Student sich auf die in der Wissensbasis festgelegten Begriffsgebung einstellen muß. Angemerkt sei hier aber, daß sich der Student auch in einer realen Lernumgebung in der Begriffswelt seines jeweiligen Lehrers bewegen muß. Durch verschiedene Lehrbuchoptionen und zusätzlichen Erklärungen zu einer Diagnose können aber synonyme Begriffe genannt und erklärt werden. Bei der Bereitstellung einer kleineren Auswahl an Diagnosen besteht das Problem, welche Diagnosen aus der Gesamtheit der vorhandenen Diagnosen ausgewählt werden.

Ein weiterer Aspekt bei der Auswahl der Diagnosen durch den Studenten besteht darin, ihm zu erlauben, seinen Diagnosen einen Sicherheitsfaktor zu geben. Die Bewertung in den Kategorien richtig/falsch wird den inhärenten Unsicherheiten der komplexen Diagnostik oft nicht gerecht. Auch hier gibt es die Alternative, eine Einschätzung der Diagnosen in Wahrscheinlichkeiten anzugeben oder einige wenige Kategorien zur Verfügung zu stellen. Eine angemessene Kritik dieser gewichteten Diagnosen erfordert aber auch eine Problemlösungsmethode, die ebenfalls ein unsicheres Zutreffen von Diagnosen berücksichtigen kann, wie z.B. die Unterscheidung in verdächtigte und bestätigte Diagnosen.

Nach der Auswahl von gewichteten Diagnosen durch den Studenten müssen diese nun mit eigenen Algorithmen bewertet werden. Hierbei sollten immer zwei Aspekte berücksichtigt werden:

Berücksichtigt man nur den ersten Punkt, so verleitet man den Studenten dazu, möglichst viele Diagnosen anzugeben, um alle Systemdiagnosen abzudecken. In diesem Fall gibt er aber viele falsche Diagnosen an, eine Vorgehensweise, die man mit dem zweiten Punkt berücksichtigen kann.

In jeder Domäne gibt es ähnliche oder verwandte Diagnosen, ein Fakt, das auch bei der Bewertung der Diagnosen berücksichtigt werden sollte. Damit ähnliche Diagnosen auch erkannt werden, muß in dem Wissensmodell implizit oder explizit ein Ähnlichkeitsmaß definiert werden. Bei Wissensarten, die eine Diagnosehierarchie oder einen Konzeptgraphen bereitstellen, kann diese Ähnlichkeit über eine Entfernungsfunktion berechnet werden, so daß Aussagen wie Ihre gewählte Diagnose ist zwar falsch, aber eine Oberdiagnose ist korrekt. gemacht werden können.

Ein fallbasiertes Trainingssystem sollte möglichst reale Fälle abbilden können, in denen aber oft Mehrfachdiagnosen vorkommen. Hier besteht das Problem, daß der Student durch unwichtige Nebendiagnosen von der wichtigen Hauptdiagnose abgelenkt werden könnte. Um jetzt die Wichtigkeit einer Diagnose zu ermitteln, muß grundsätzlich geklärt werden, ob es sich um eine globale oder eine fallbezogene Wichtigkeit handelt. Sowohl globale wie fallbezogene Wichtigkeiten können wieder in Kategorien (z.B. wichtige Hauptdiagnose, fragliche Nebendiagnose) oder in konkreten Zahlenwerten angeben werden.

Bei der Berechnung der Ähnlichkeit zweier Diagnosen kann ein Faktor auch aus dem Vergleich der Konsequenzen bestimmt werden. Haben zwei Diagnosen die gleiche Therapie so können sie als ähnlicher bezeichnet werden als Diagnosen, die verschiedene oder gar konkurrierende Therapien haben. Ein weiterer Faktor ist, daß ein Student schlechter bewertet werden sollte, der eine falsche Diagnose auswählt, die eine schwerwiegende oder gefährliche Therapie hat, im Vergleich zu einer Diagnose mit harmloser, ungefährlicher Therapie.

Unabhängig von der Bewertung der Diagnosen muß dem Studenten auch erklärt werden, warum diese Diagnosen korrekt sind. Für diese spezielle Aufgabe bei der Diagnosenkritik spielt die Erklärungsfähigkeit eine wichtige Rolle.

Begründung der ausgewählten Verdachtsdiagnosen

Nachdem ein Student eine oder mehrere Diagnosen ausgewählt hat und diese Auswahl durch das Trainingssystem bewertet wurde, erhält er auch die Möglichkeit, seine Diagnosen durch Angabe von Falldaten zu begründen. Diese Auswahl von Symptomen oder etablierten Diagnosen kann nun wiederum durch das Trainingssystem bewertet werden. Grundsätzlich kann man zwischen der Begründung von zutreffenden und der Begründung von falschen Diagnosen unterscheiden.

Die Entscheidungen, ob bei der Begründung Regeln oder nur Symptome gezeigt werden, hängen von mehreren Faktoren ab. Wenn die Regeln nicht als solche gezeigt werden, sondern zu einer reinen "Hinweismenge" abstrahiert werden, so muß auch der Student nur eine Menge von Symptomen angeben, um seine Diagnose zu begründen. Diese beiden Symptommengen werden dann verglichen und darauf beruhend wird eine Bewertung errechnet. Möchte man dem Studenten aber Regeln als solche präsentieren, so sollte dieser ebenfalls Regeln zur Begründung seiner Diagnose eingeben. Das Einbeziehen von Merkmalsabstraktionen stellt einen Mittelweg dar, allerdings muß hier berücksichtigt werden, in wie weit dem Studenten diese Abstraktionen bekannt sind. Die Darstellung von Regeln und Symptomabstraktionen macht aber nur dann einen Sinn, wenn diese tutoriell sinnvoll sind.

Es besteht auch die Möglichkeit (analog zur Diagnosenauswahl), die ausgewählten Symptome durch den Studenten gewichten zu lassen und diese Gewichtung bei der Berechnung der Differenzen (System-Studenten-Symptommenge) zu berücksichtigen.

Selektion von neuen Informationen/Tests

Die zweite elementare Aufgabe bei der diagnostischen Problemlösung ist das Anfordern neuer Untersuchungen zu einem Fall. Durch die neu gewonnene Information versucht der Diagnostiker eine bisher verdächtigte Diagnose zu bestätigen oder auszuschließen (Informationsgewinn). Dabei berücksichtigt er Nebenfaktoren wie entstehende Kosten, seinen Zeitaufwand und Risiken. So wird beispielsweise eine kostengünstigere Untersuchung ohne Strahlenbelastung für den Patienten einer kostenintensiven Röntgenaufnahme vorgezogen. Grundsätzlich sind folgende Faktoren bei der Auswahl von Informationen bestimmend:

Bei der Bewertung der Informationsauswahl des Studenten können somit Tests als optimal, gut oder völlig irrelevant in der momentanen Situation bewertet werden. Da in einem komplexen Problemlösevorgang die Reihenfolge nicht immer eindeutig vorgegeben werden kann, muß dem Studenten auch die Möglichkeit gegeben werden, diese Reihenfolge selbst zu bestimmen.

Begründung der ausgewählten Informationen/Tests

Die Auswahl der nächsten Tests durch das System basiert oft auf einer komplexen Kosten-Nutzen-Rechnung. Deswegen ist es entsprechend schwierig, eine Begründung durch den Studenten zu bewerten. Eine Möglichkeit, den Studenten seine Testauswahl begründen zu lassen, wäre die Angabe von Verdachtsdiagnosen, die durch die ausgesuchte Information geklärt werden sollen. Die genaue (arithmetische) Berechnung ist für ihn selbst meistens nur schwer nachvollziehbar. Eine sinnvolle Bewertung der Begründung des Studenten wäre die Überprüfung, ob die von ihm ausgewählten Verdachtsdiagnosen grundsätzlich durch diese Informationen geklärt werden können und ob diese Verdachtsdiagnosen im Moment überhaupt vorliegen.

Erkennen von Symptomen aus Multimedia-Dokumenten

Zur Vervollständigung eines fallbasierte Trainingssystems ist es notwendig, auch eine Symptomerkennung bereitzustellen. Merkmale des Falles werden dem Studenten nicht mitgeteilt, sondern er muß sie in einem Multimedia-Dokument selbst erkennen. Ein Beispiel wäre ein Röntgenbild, welches der Student befunden soll. Die Eingabe seiner Befundung kann durch das Trainingssystem nun analysiert und bewertet werden.

Nach der Eingabe der erkannten Merkmale durch den Studenten müssen diese natürlich in dem Problemlöseprozeß berücksichtigt werden. Durch diese differenzierte Behandlung von Erkennen und Folgern aus den erkannten Daten kann auch die Fähigkeit des Studenten zur Symptomerkennung getrennt von seinen deduktiven Fähigkeiten betrachtet werden. Das heißt, es ist möglich, daß der Student aus falsch erkannten Symptomen richtig auf eine falsche Diagnose folgert. In diesem Fall sollte das System die Symptomerkennung kritisieren, nicht aber seine Schlußfolgerungsfähigkeiten.

Bei der Auswahl können ähnlich zu der Diagnosenauswahl verschiedene Wege beschritten werden. So kann versucht werden, eine Freitexteingabe des Studenten auf Symptom-Wert-Paare abzubilden, was aber in der Praxis äußerst schwierig umzusetzen ist. Eine andere Möglichkeit wäre, dem Studenten alle möglichen Symptome, die das System grundsätzlich erfassen kann, anzubieten, um diese dann entsprechend der erkannten Symptomatik belegen zu lassen. Die einfachste und schnellste Variante ist die, dem Studenten nur die möglichen Belegungen für die Symptome anzubieten, die in dem medialen Element wirklich erkannt werden können. Hat der Student nun Symptombelegungen ausgewählt, die er in dem medialen Element erkannt hat, müssen diese mit den realen Belegungen verglichen werden. Neben einem 1-zu-1-Vergleich können den Belegungen noch Gewichte gegeben werden, da manche Symptome in einem Bild leichter zu erkennen sind als andere und deren Erkennung entsprechend höher zu bewerten ist. Als Zusatzinformation können noch Ähnlichkeiten zwischen zwei Symptomausprägungen angegeben werden, so daß der Student eine weniger schlechte Bewertung bekommt, wenn er eine ähnliche anstatt der korrekten Ausprägung gewählt hat.

Begründung, wie diese Symptome erkannt wurden

Eine Begründung zur Symptomerkennung erscheint grundsätzlich nicht sinnvoll, da es sich meist nicht um analytische Vorgänge, wie z.B. bei der Herleitung einer Diagnose, handelt. Die zu erkennenden Rohmerkmale gehören zu dem Basiswissen des Studenten. In einigen Anwendungen, wie z.B. der Deutung von EKGs, kann allerdings von einer Herleitung der Symptomatik ausgegangen werden.

D3Trainer und seine Umsetzung

Im weiteren wird die Umsetzung der Kritikoptionen in fallbasierten Trainingssystemen beleuchtet, die mit dem Autorensystem D3Trainer generiert wurden. Auf eine genaue Beschreibung des generellen Systemkonzepts wird hier verzichtet und auf die entsprechende Literatur verwiesen (siehe [4], [5], [6], [7]).

Die Kritikkomponente des D3Trainers ist eine sehr variabel gestaltbare und mächtige Umgebung, die durch Einstellungen im Trainingssystem, durch Variablen der Wissensbasis und durch Vorgaben in den einzelnen Fällen gesteuert wird. Diese Attribute werden teilweise durch den Bereichsexperten vorgegeben, können aber zum Teil auch durch den Studenten bestimmt werden.

In allen Bereichen der Kritikkomponente wird das Konzept verfolgt, daß die intern berechneten Punkte dem Studenten nicht direkt vermittelt werden. Die Punktzahlen werden auf bis zu sechs Kategorien abgebildet, die dem Studenten durch einheitliche Bewertungsbilder und -texten sehr schnell vermitteln, wie gut seine gewählte Aktion war. Dieses Konzept hat den Vorteil, daß der Student sich nicht lange mit der detaillierten Berechnung seiner Bewertung beschäftigt, sondern sich auf das wesentliche, seine Lösung, konzentriert.

Selektion von Verdachtsdiagnosen und Therapien

In einem mit dem D3Trainer generierten Trainingssystem kann bzw. muß der Student an verschiedenen Zeitpunkten eine Diagnosen- und Therapieauswahl treffen, die dann durch das System mittels eines Vergleichsalgorithmus mit der Lösung des Expertensystems bewertet wird. Die Entscheidung, ob und wie Therapien in dem System angeboten werden, ist dabei eine der grundlegendsten Varianten. Um Therapiebestimmung als diagnostische Option anbieten zu können, müssen diese natürlich in der D3 Wissensbasis modelliert worden sein. Aufgrund der hohen Ähnlichkeit zu den Diagnosen wurden Therapien als spezielle Diagnosen eingeführt, die auch in der Diagnosenhierarchie deklariert werden und deren Herleitung über die selben Mechanismen und Editoren eingetragen wird. Sind also Therapien in der Wissensbasis vorhanden, kann der Fachbereichsexperte zwischen mehreren Optionen wählen. Im wesentlichen muß hier unterschieden werden, ob die Therapien überhaupt angezeigt werden sollen, ob die Therapieauswahl des Studenten optional bereitgestellt oder erzwungen wird und wie die Trennung von der Diagnosenauswahl stattfindet. Bei der Therapieauswahl und -bewertung stehen im wesentlichen die gleichen Varianten in der didaktischen Strategie zur Verfügung wie bei den Diagnosen, so daß im weiteren nur noch von Diagnosen gesprochen wird, wobei dabei immer implizit auch Therapien inbegriffen sind.

Die erste wichtige Entscheidung bei dem Design des Systems ist die Entscheidung, wie der Student die Auswahl an Diagnosen, bzw. Therapien, treffen kann. Der D3Trainer bietet dafür zwei Optionen an: Aus den korrekten Diagnosen und einer zufälligen Auswahl anderer Diagnosen wird eine multiple-choice Auswahl generiert, aus der der Student die passenden Objekte selektiert. Natürlich stellt das eine enorme Erleichterung dar und kann nicht als Standardeinstellung benutzt werden. Die zweite Option ist die Auswahl von Objekten aus einer geordneten Hierarchie, die der Student durch Auf- und Zuklappen durchsuchen kann. In beiden Fällen stehen den Studenten zwei Kategorien, verdächtig und bestätigt, als Sicherheitsfaktoren zur Verfügung, mit denen er beschreiben kann, wie sicher er sich ist, daß diese Diagnosen in dieser Fallsituation zutreffen.

Ein wichtiger Punkt bei der Bewertung der ausgewählten Diagnosen ist auch, ob benachbarte oder ähnliche Diagnosen zu der Systemlösung selektiert wurden. Der D3Trainer kann hier Ober- und Folgediagnosen erkennen, für die dann ein Teil der erreichbaren Punktebewertung anerkannt wird. So wird es dem Studenten beispielsweise mit 50% der Punktzahl gewertet, wenn dieser statt der verdächtigen Systemdiagnose die Oberdiagnose als bestätigt angibt. Die Einteilung in Ober- bzw. Folgediagnosen ist in allen Wissensbasen explizit durch die Ordnung in einer Hierarchie gegeben, die der Fachexperte bei dem Aufbau der Wissensbasis von Beginn an benötigt.

Der variable Bewertungsalgorithmus im D3Trainer ist besonders wichtig, da die entstehenden Trainingssysteme fähig sind, mit Mehrfachdiagnosen umzugehen. Sowohl das System als auch der Student können zu jeder Zeit mehrere Diagnosen als Fallösung angeben. Dies ist besonders wichtig, da in der Realität kaum Fälle auftreten, deren Symptomatik auf nur einer Ursache (Diagnose) beruht. Wenn man reale Fälle in eine problemorientierte Lernumgebung einbinden will, muß man aber vor allem darauf achten, daß das Lernziel klar erkennbar ist. In dem Fall einer Fallbesprechung muß also zwischen Haupt- und Nebendiagnosen des Falles unterschieden werden, um die Aufmerksamkeit des Studenten auf den gewünschten Bereich der Problemlösung zu lenken. Der D3Trainer bietet für dieses Problem an, zu jedem Fall die Lösungen des Falles durch Kategorien oder Faktoren zu gewichten, so daß diese bei dem Bewertungsalgorithmus unterschiedlich gewichtet werden können. Grundsätzlich reicht eine Einteilung in den Kategorien Hauptdiagnose, Nebendiagnose und Nebendiagnose fraglich aus, um die Fokussierung des Studenten entsprechend zu steuern. Wird eine differenziertere Unterscheidung benötigt, so kann der Fallautor die Diagnosen mit ganzen Zahlen beliebiger Höhe gewichten, die dann miteinander verrechnet werden.

Der verwendete Bewertungsalgorithmus berücksichtigt, daß der Student durch Angabe vieler Diagnosen keinen Vorteil des Ratens gewinnen kann, indem die Angabe von falschen Diagnosen zu einem Punktabzug führt.

Begründung der Verdachtsdiagnosen und Therapien

Nach der Bewertung seiner Verdachtsdiagnosen kann oder, beim Modus Symptomanforderung in Gruppen nach der letzten Aufwandsgruppe, muß der Student eine von ihm gewählte Diagnose durch Angabe von Symptomen begründen. Die von ihm genannten Symptomausprägungen werden mit den echten hinweisenden Symptomen verglichen und es wird eine Bewertung daraus berechnet. Die hinweisenden Symptome zu einer Diagnose aus der Menge an Regeln zu berechnen und eventuell auch noch eine Gewichtung dieser einzelnen Symptome zu finden, ist eine schwierige Aufgabe, wenn man davon ausgeht, daß eine mehrstufige Herleitung über komplexe Bedingungen vorliegt.

Der D3Trainer bietet hierfür zwei Lösungsmöglichkeiten an, in dem er die Symptome wahlweise aus dem heuristischem oder dem überdeckendem Wissen extrahiert. Bei der heuristischen Herleitung sind meist mehrere gewichtete Regeln über verschiedene Stufen des diagnostischen Mittelbaus beteiligt, bei denen die Gewichtung der Regel auf die komplexe Vorbedingung und über mehrere Stufen verrechnet werden muß. Wahlweise kann man diese Gewichtung auch vollständig ausschalten und alle Symptome, die grundsätzlich auf diese Diagnose deuten, werden gleichberechtigt verrechnet. Bei dem überdeckendem Wissen sind die Regeln meist einfacher gestaltet, können hier doch keine komplexe Vorbedingungen vorkommen. Auch läßt sich hier die Gewichtung meist leichter auf die einzelnen Symptome verteilen. Bei beiden Ansätzen ist man nun aber in der Lage, eine Menge von gewichteten Symptomen des Systems mit einer Menge Symptome des Studenten zu vergleichen. Im D3Trainer werden alle hinweisenden Symptome zu einer Diagnose aufgelistet und die durch den Studenten genannten, hinweisenden Symptome durch Fettdruck hervorgehoben. Alle durch den Studenten genannten Symptome, die in der Herleitung nicht vorkommen, werden daraufhin überprüft, ob es in der Wissensbasis eine Regel gibt, die zwar das Symptom mit der Diagnose in Verbindung bringt, aber aus verschiedenen Gründen nicht gefeuert hat. Diese Symptome bekommen die Bezeichnung mit der Diagnose im Einklang stehend. Alle anderen Symptome werden als irrelevant für diese Diagnose bezeichnet. Für jedes Symptom des Studenten wird gemäß der Kategorie, in die es eingeordnet wurde, eine Punktzahl vergeben. Auf Basis der Summe dieser Punktzahlen wird die Leistung des Studenten in die Kategorien sehr gut, gut, mittel und schlecht eingeordnet und eine entsprechende Bewertung ausgegeben.

Ein wichtiger Aspekt bei dieser Bewertung ist die Tatsache, daß die Regeln, auf Basis derer die hinweisenden Symptome berechnet werden, nicht verschiedene Typen von Vorbedingungen vermischen. In der Expertensystemshell D3 können bei einer Regel Vorbedingung, Ausnahmen und Kontext angegeben werden. So ist sicher gestellt, daß bei den hinweisenden Symptomen wirklich nur diagnostische Hinweise und keine Randbedingungen erscheinen. Dies war eines der Probleme bei dem Tutorsystem Guidon [8], welches auf dem Expertensystem Mycin beruht: da hier Randbedingungen, wie beispielsweise das Alter des Patienten bei einer alkoholbedingten Infektionskrankheit, mit den wirklichen diagnostischen Hinweisen auf eine Stufe gestellt wurden.

Selektion von neu anzufordernden Informationen

Der D3Trainer bietet auch didaktische Varianten der Symptomanforderung an, bei denen der Student selbst die Auswahl neuer Informationen steuert. In diesem Fall kann diese Selektion auch durch das System bewertet werden. Wie auch bei den Diagnosen können die Frageklassen entweder in einer multiple-choice Auswahl ausgewählt werden oder über die Gesamthierarchie aller in der Wissensbasis möglichen Optionen.

Grundlage bei der Bewertung von Untersuchungsanforderungen sind zwei Größen: der Informationsgewinn, den man bei der Fallbearbeitung durch die Kenntnis der neuen Information erlangt, und der Aufwand, der entsteht, wenn diese Untersuchungen in der Realität durchgeführt werden. In manchen Domänen gibt es zusätzlich noch eine gewisse Abarbeitungsreihenfolge, die sich standardmäßig entwickelt haben, so z.B. in der Medizin die Reihenfolge Anamnese, körperliche Untersuchung, Labor und technische Untersuchungen. Die Bewertung der angeforderten Untersuchungen des Studenten erfolgt im D3Trainer durch Vergleich mit den Untersuchungen, die das System als nächstes vorschlagen würde. Trotzdem kann der Student alle Untersuchungen durchführen lassen, ohne daß das System ihn dabei einschränkt.

Die Einteilung der Untersuchungen erfolgt in den Kategorien Sehr gute Wahl, Gute Wahl, Würde später angefordert werden und Nicht relevant. Der Student kann eine oder mehrere Frageklassen anfordern, die dann in die entsprechenden Kategorien eingeordnet werden. Für jede Kategorie gibt es eine Punktzahl und der Mittelwert über alle angeforderten Frageklassen legt die Gesamtbewertung in die Kategorien Sehr gut, Nicht optimal und Nicht so gut fest.

Die entstehenden Kosten dieser Untersuchungsauswahl werden in bis zu drei Posten, Kosten, Risiko und Zeitaufwand aufgeteilt, die der Wissensbasisentwickler selbst festlegen und benennen darf. Diese Kosten werden in einer Balkendarstellung aufsummiert und bei Bedarf kann eine Detailansicht aufgerufen werden, in der die Beiträge der einzelnen Untersuchungen zu der Gesamtsumme dargestellt werden.

Begründung der angeforderten Information

Das Diagnosesystem D3 verfügt über mehrere Mechanismen zur Indikation von Untersuchungen, wobei aus den indizierten Frageklassen nach einer Kosten-Nutzen-Abschätzung die nächste zu stellende Frageklasse ausgewählt wird. Diese multiplen Wege und die komplizierte Verrechnung ist für den Studenten oft nicht nachzuvollziehen, weshalb im D3Trainer nur die Indikation über Verdachtsdiagnosen als Begründungsmöglichkeit für den Studenten zur Verfügung gestellt wird. Dieser kann seine Untersuchungen durch Angabe von Verdachtsdiagnosen angeben, die durch die neue Information entweder bestätigt oder ausgeschlossen werden sollen. Die Kritikkomponente überprüft nun erstens, ob die angegebenen Diagnosen durch die selektierten Frageklassen geklärt werden könnten und zweitens, ob diese Diagnosen überhaupt verdächtigt sind.

Im Gegensatz zu den anderen Bewertungen im D3Trainer wird bei der Begründung der Frageklassenauswahl keine Bewertungskategorie berechnet, sondern nur die Aussagen über Klärungsfähigkeit und Status der Verdachtsdiagnosen angegeben. Diese Entscheidung beruht auf der schweren Umsetzbarkeit der verschiedenen Indikationsmechanismen und der daraus entstehenden Probleme bei der Bewertung der Begründungen.

Erkennen von Merkmalen aus Bildern

Das Erkennen von Symptomen aus medialem Material ist einer der attraktivsten Erweiterungen des D3Trainers, die aber nur durch zusätzliches Wissen zu der D3 Wissensbasis generiert werden kann. Durch Angabe eines Bildsystems zu einem Fall können Teile der Symptome aus einem Bild erkannt werden und müssen nicht durch das System in verbaler Form beschrieben werden. Neben der erhöhten Realitätstreue, die eine mediale Darstellung mit sich bringt, ermöglicht ein Bildsystem auch das Einüben von Bildinterpretationen, wie sie im Diagnosealltag vorkommen.

Ein Bildsystem besteht dabei aus mehreren Bildern, die eine interne Verknüpfung zu den Symptomen des Falles haben, die in diesem Bild erkannt werden können. In einer Karteikartenumgebung werden rechts die Bilder angezeigt, während die zu erkennenden Symptome mit ihren Ausprägungen links gezeigt werden. Durch diese MC-Auswahl kann der Student nun die durch ihn erkannte Symptomatik eingeben.

Die Kritik der durchgeführten Bildinterpretation kann entweder relativ zu einem Bild, zu allen bisher bekannten Bildern oder zu allen in dem Fall verfügbaren Bildern durchgeführt werden. In allen Modi wird zunächst pro Bild überprüft, welche Symptombelegung der Student im Vergleich zu den durch den Experten angegebenen Symptomatik erkannt hat. Dabei kann in dem Bildsystem eine Gewichtung pro Symptom eingeführt werden, da nicht alle Symptome in dem Bildern gleich gut erkannt werden können. Mit dieser Gewichtung kann der Fachexperte beispielsweise ein schlecht erkennbares Symptom geringer gewichten, so daß der Student bei Nichterkennen dieses Symptom keine oder nur wenige Punkte abgezogen bekommt.

Aus den erkannten Symptomen des Studenten und den korrekten Symptomen, die in diesem Bild oder diesen Bilder erkannt werden können, werden drei Mengen gebildet: richtig, falsch und nicht erkannte Symptome. Diese Symptome werden mit Rücksicht auf ihr Gewicht miteinander verrechnet und eine Punktzahl berechnet. Wie auch in den anderen Kritikbereichen des D3Trainers wird die errechnete Punktzahl für den Vergleich in Kategorien umgesetzt. In dem entsprechenden Bewertungsfenster werden die einzelnen Symptome aufgelistet und man kann zu jedem Symptom die richtige Belegung sowie die Region in dem Bild anzeigen lassen, in der man es hätte erkennen müssen.

Zusammenfassung

Die Generierung von Kritik in fallbasierten Trainingssystemen ist eine schwierige Aufgabe mit verschiedenen Optionen, unter denen Systementwickler und Fachautoren wählen müssen. Es existiert keine allgemein beste Art der Kritik, sondern es muß in allen Bereichen eine eigene, den Umständen angepaßte Variante geben. Der D3Trainer bietet eine Vielzahl von Kritikmöglichkeiten in der diagnostischen Problemlösung an, unter denen der Fachbereichsexperte oder der Lernende selbst wählen können.

Die hier aufgestellten Varianten finden sich auch in anderen fallbasierten Systemen wie Guidon [8], Diag [9] oder den Casus-Programmen [10] wieder, so daß man davon ausgehen kann, daß sie generell auf fallbasierte Trainingssysteme übertragbar sind. Ein detaillierter Vergleich mit diesen Systemen wird in [7] durchgeführt.

 

Literatur

[1] Berkson L.: Problem Based Learning: Have the expectations been met?, Academic Medicine, Vol. 68, 1993.

[2] Moust J., Bouhuijs P., Schmidt H.: Problemorientiertes Lernen, Ullstein Medical, 1997.

[3] Wetzel M.: Problem Based Learning: An Update on Problem Based Learning at Harvard Medical School, Annals of Community-Oriented Education, 1994

[4] Puppe F., Reinhardt B.: Generating Case-Oriented Training From Diagnostic Expert Systems, Machine Mediated Learning, Vol. 5, Nr. 4, 1995.

[5] Puppe F., Puppe B. Reinhardt B., Schewe S., Buscher H.P.: Evaluation medizinischer Diagnostik-Expertensysteme zur Wissensvermittlung, Informatik Biometrie und Epidemiologie in Medizin und Biologie, Vol. 29, Nr.1, 1998.

[6] Reinhardt B.: Generating Case Oriented Intelligent Tutoring Systems, Papers from the 1997 AAAI Fall Symposium, AAAI Press FS-97-01, 1997.

[7] Reinhardt B.: Didaktische Strategien in generierten Trainingssystemen zum diagnostischen Problemlösen, Dissertation Universität Würzburg (in Vorbereitung), 1999.

[8] Clancey W.: Knowledge-Based Tutoring - The GUIDON Program, MIT Press Cambridge, 1987.

[9] Towne D.: Intelligent Diagnostic Tutoring Using Qualitative Symptom Information, Papers from the 1997 AAAI Fall Symposium, AAAI Press FS-97-01, 1997.

[10] Holzer M., Konschak J., Bruckmoser S., Fischer M.: Wissensdiagnostik in medizinischen Lernprogrammen am Beispiel des Autorensystems CASUS, in: Adler M., Dietrich J., Holzer M., Fischer M. (Hrsg.): Computer Based Training in der Medizin, Shaker, 1998.