Das Prinzip der maximalen Entropie

Die Entropie ist eine Funktion der Wahrscheinlichkeiten, mit denen wir die möglichen Ausgänge eines zukünftigen Versuchs erwarten. Woher kennt man nun diese Wahrscheinlichkeiten? Hierzu kann man verschiedene Standpunkte einnehmen.

Wahrscheinlichkeiten können etwa als a priori vorhanden angesehen werden. Dies ist etwa der Fall bei einem idealen Würfel, den wir dadurch definieren, daß seine sechs Seiten alle mit gleicher Wahrscheinlichkeit nach einem Wurf oben liegen.

Etwas anderes liegt vor, wenn wir einen realen Würfel nehmen. Bei ihm können die sechs Wahrscheinlichkeiten voneinander abweichen. Wir könnten sehr oft damit würfeln und herauszufinden versuchen, gegen welche relativen Häufigkeiten das Auftreten der einzelnen Seiten strebt. Offensichtlich kann man aber den Grenzwert nicht erreichen, weil man nicht unendlich oft würfeln kann. Empirisch ermittelte Wahrscheinlichkeiten bleiben daher grundsätzlich ungenau.

Häufig ist die empirische Kenntnis von Wahrscheinlichkeiten oder kontinuierlichen Wahrscheinlichkeitsverteilungen nicht nur ungenau, sondern auch unvollständig. Symbolisch formuliert: Ein Meßgerät M erzeuge durch

b = Ma

in Form von Meßdaten ein Bild b eines Ausschnittes a der Welt. Ziel des Beobachters ist, aus den Daten zurückzuschließen auf das Objekt seiner Messungen, d. h. er möchte die Meßoperation möglichst invertieren und

a = M⁻¹b

berechnen. Unvollständige Kenntnisse wären dann gleichbedeutend damit, daß es keinen eindeutigen inversen Operator M⁻¹ gibt.

Einen konsequenten neuen Standpunkt, von dem aus sich die Probleme ungenauer und unvollständiger Kenntnis von Wahrscheinlichkeiten lösen, hat Jaynes 1957 eingeführt. Er postuliert:

Die Wahrscheinlichkeiten der verschiedenen Ausgänge eines Versuchs sind so anzunehmen, daß unter Berücksichtigung aller Kenntnisse über den Versuch die Entropie maximal wird.

Die Wahrscheinlichkeiten sind in diesem Sinne also nicht a priori gegeben und auch nicht als Grenzwerte von Häufigkeitsverhältnissen zu betrachten. Sie repräsentieren die augenblickliche subjektive Kenntnis des Beobachters über den Versuch, die von völliger Unkenntnis über teilweise Kenntnis bis zu vollständiger Kenntnis reichen kann. Bei unvollständiger Kenntnis wären, wie die unten folgenden Beispiele zeigen, die Wahrscheinlichkeiten ohne das Prinzip der maximalen Entropie nicht eindeutig bestimmbar.

Derart gewählte Wahrscheinlichkeiten für die Versuchsausgänge garantieren zweierlei:

Einerseits stehen sie in vollem Einklang mit allen bisherigen Messungen, und
andererseits enthalten sie keine ungerechtfertigten Vorurteile.

Jede andere Verteilung der Wahrscheinlichkeiten mit geringerer Entropie würde nämlich eine größere Vorhersagbarkeit bedeuten. Der Experimentator hätte dadurch zusätzliche, nicht durch bisherige Messungen belegte Information verwendet.

Eine nach dem Prinzip der maximalen Entropie gewählte Wahrscheinlichkeitsverteilung beschreibt alle bisherigen Ausführungen eines Versuchs vorurteilsfrei und am genauesten. Sie ist damit auch diejenige Verteilung, die die in diesem Sinne beste Vorhersage über die nächste Ausführung des Versuchs gestattet. Diese Wahrscheinlichkeiten bilden also eine Theorie über den Versuch.

Das Prinzip der maximalen Entropie bietet darüber hinaus konstruktive Unterstützung. Liefert es nämlich eine unbefriedigende Lösung, dann bedeutet dies, daß die neben dem Maximalprinzip in klar erkennbarer Form eingebrachten bisherigen Kenntnisse und Annahmen vervollständigt oder eventuell korrigiert werden müssen.

Die Beziehungen zum thermodynamischen Entropiebegriff und Anwendungen des Prinzips der maximalen Entropie werden z. B. von Buck (1991) diskutiert.