Validieren
Nach dem Beobachten der Simulation erfolgt die Auswertung der gesammelten Daten. Besonderes Augenmerk gilt den Unterschieden zwischen den verschiedenen Durchgängen.
SimulationenEinstieg.pptxBeim Validieren einer Simulation geht es darum, das Verhalten des Modells (ggf. in Bezug auf bestimmte Parameter) auszuwerten und mit dem Verhalten des realen Systems zu vergleichen.
1. Ergebnisse visualisieren
Da es meist um dynamische Systeme und grosse Mengen von Daten geht, ist oft schon die Beurteilung des Modellverhaltens in einem einzigen Durchgang eine Herausforderung – noch schwieriger wird es, wenn verschiedene Durchgänge zusammengefasst oder verglichen werden sollen. Für die Beurteilung und Auswertung von Simulationen werden daher verschiedene Visualisierungstechniken eingesetzt.
Visualisierung
Mit Visualisierung oder Veranschaulichung (Sichtbarmachen) meint man im Allgemeinen, abstrakte Daten (z. B. Texte) und Zusammenhänge in eine grafische bzw. visuell erfassbare Form zu bringen. Im Speziellen bezeichnet Visualisierung den Prozess, sprachlich oder logisch nur schwer formulierbare Zusammenhänge in Grafiken, Tabellen und Schaubilder zu übersetzen, um sie verständlich zu machen. Weiterhin wird Visualisierung eingesetzt, um einen bestimmten Zusammenhang deutlich zu machen, der sich aus einem gegebenen Datenbestand ergibt, der aber nicht unmittelbar deutlich wird.
Dabei werden Details der Ausgangsdaten weggelassen, die im Kontext der gewünschten Aussage vernachlässigbar sind. Zudem sind stets gestalterische Entscheidungen zu treffen, welche visuelle Umsetzung geeignet ist und welcher Zusammenhang gegebenenfalls betont werden soll. Visualisierungen implizieren daher stets eine Interpretation der Ausgangsdaten, werden aber auch durch textliche oder sprachliche Angaben ergänzt, um eine bestimmte Interpretation zu kommunizieren.
Quelle: Wikipedia, Visualisierung
Analogie
Keine Analogie, aber ein Beispiel dafür, dass ein Bild oder eine kurze Animation grosse Datenmengen und komplexe Zusammenhänge verständlich darstellen kann.
Weiteres zu dieser speziellen Visualisierungsart findet sich auf Gapminder.org.
In Simulationen wird oft ein erheblicher Aufwand betrieben, um die wesentlichen Eigenschaften des Systems im Verlauf der Simulation visuell darzustellen – obwohl die Implementierung einer solchen Prozessvisualisierung meist viel mehr Code braucht als die eigentliche Umsetzung des funktionalen Modells. So werden beispielsweise relevante Eigenschaften von Agenten (Position, Zustand, wichtige Werte) dargestellt, damit man ihre Veränderung im Verlauf der Simulation direkt beobachten kann. Das gibt erste Hinweise darauf, ob das Modellverhalten plausibel scheint oder ob ggf. Fehlern bei der Umsetzung gemacht wurden.
Bevor das Verhalten des Modells ausgewertet werden kann, muss seine korrekte Umsetzung sichergestellt sein – auch das ist ein wesentlicher Aspekt der Validierungsphase, auf den wir an dieser Stelle jedoch nicht weiter eingehen wollen.
Wie bei realen Experimenten genügt es auch bei virtuellen Experimenten selten, Verhalten nur (subjektiv) zu beobachten. Gerade, weil es ja im Kern um Vergleichbarkeit geht (mit anderen Durchgängen, mit der Realität), braucht es klar definierte (objektive) Masszahlen, mit denen die relevanten Aspekte des Verhaltens (des künstlichen oder realen Systems) quantifiziert werden können. Dass die Entwicklung sinnvoller Masse in manchen Anwendungsgebieten (speziell in Sozialwissenschaften) schwierig und manchmal sehr umstritten ist, unterstreicht ihre zentrale Rolle in der wissenschaftliche Methodik.
Natürlich muss die Messung/Berechnung der entsprechenden Masse auch im Code der Simulation implementiert sein – sie entsprechen der Ausgabe eines Durchgangs. Da es auch jetzt noch oft um viele Werte geht (z.B. Entwicklung eines Masses über die Zeit, verschiedene Masse, oder die Ausgaben verschiedener Simulationsdurchgänge), werden auch diese Simulationsergebnisse häufig zusammengefasst und mit angemessenen Visualisierungstechniken dargestellt. So entstehen beispielsweise Schaubilder, die den Einfluss bestimmter Parametervariationen auf ein zentrales Verhaltensmass zeigen (z.B. Verkehrsfluss in Abhängigkeit von Verkehrsdichte) oder Graphen, in denen die Variabilität des Simulationsergebnisses – aufgrund stochastischer Parameter – veranschaulicht werden (z.B. Klimaprognosen). Je nach Art und Umfang der Ausgabedaten einer Simulation kommen bei der Zusammenfassung und Analyse natürlich noch weitere Techniken (z.B. fortgeschrittene Methoden der Statistik) zum Einsatz.
Wenn die Ergebnisse der Simulation(en) angemessen ausgewertet und (visuell) aufbereitet sind, kommt der letzte und in wissenschaftlicher Hinsicht entscheidende Schritt: Der Vergleich mit der Realität.
2. Abgleich mit der Realität
Im einfachsten Fall genügt der Abgleich mit bereits existierender Evidenz – oder abwarten, z.B. bei Wetterprognosen. Schon schwieriger wird es, wenn entsprechende Experimente erst noch entwickelt und durchgeführt werden müssen – oder, wenn lange Zeiträume und/oder schwierige Messungen involviert sind, wie bspw. bei Klimaprognosen. Und dann gibt es noch viele Fälle, in denen der Anwendungsbereich einen direkten Vergleich mit experimentellen Daten verbietet – z.B. Simulationen des Urknalls oder gesamtgesellschaftlicher Dynamiken. Dazu kommt die immer präsente Frage, ob das Modell tatsächlich die relevanten Aspekte des Realitätsausschnitts abbildet, denn die notwendige Vereinfachung bedingt auch, dass man eine 100%-ige Übereinstimmung der Ergebnisse nicht erwarten kann. Gerade diese entscheidende Validierung des Modells an der Realität ist also oft nur indirekt, bruchstückhaft, oder unter bestimmten Vorbehalten möglich. Aber andererseits war ja von vornherein klar, dass es nicht um eine komplette Abbildung der Realität gehen kann, sondern nur darum, dass die Theorie/das Modell im Verlaufe immer weiterer Iterationen durch den Prozess der Wissenschaftlichen Methode zunehmend besser darin wird, die wichtigsten Aspekte des realen Systems abzubilden.