Informationstheorie

Vorhersagbarkeit entsteht dadurch, daß nicht alle Möglichkeiten gleichwahrscheinlich sind, und zwar entweder weil sie einzeln ungleich wahrscheinlich sind, oder weil ihre Wahrscheinlichkeiten durch den Einfluß vorangehender Versuchsergebnisse oder Nachrichtenzeichen in Richtung Ungleichheit verändert worden ist.

Ein Beispiel ist hierfür die geschriebene Sprache. In ihr sind beide Arten von Einflüssen wirksam: Die Buchstaben treten einzeln bereits mit deutlich unterschiedlichen Wahrscheinlichkeiten auf. Darüber hinaus besteht ein starker Einfluß vorangehender Buchstaben. So folgt im Deutschen etwa auf ein `q' hochwahrscheinlich ein `u'.

Quantitativ definiert man die Redundanz R als die Differenz zwischen dem maximal möglichen Informationsgehalt H₀ (auch Entscheidungsgehalt genannt) und dem mittleren Informationsgehalt H, der Entropie, die ja ein Maß für die Unvorhersagbarkeit ist, als

der Entscheidungsgehalt	H₀	= ld 2 = 1,
die Entropie	H	= S(p),
die Redundanz	R	= 1 − S(p),
der Redundanzfaktor	H₀ /H	= 1 / S(p),
die relative Redundanz	R / H₀	= 1 − S(p),
der Wirkungsgrad	H / H₀	= S(p).

Der positive Aspekt ist, daß Redundanz eine Nachricht unempfindlicher gegen Störungen macht. Es ist daher nicht überraschend, daß natürliche Sprache erhebliche Redundanz aufweist, die sich unter den realen Übertragungsbedingungen entwickelt und bewährt hat. So kann z. B. bei mangelhafter Bandbreite (etwa bei Schwerhörigkeit oder bei Telefongesprächen) ein als "Im Wüden weint die Wonne" empfangener Satz meistens noch richtig als "Im Süden scheint die Sonne" rekonstruiert werden.

Genutzt werden kann Redundanz nur, wenn sie auf die Art der Störungen zugeschnitten ist und wenn ihre Regeln dem Empfänger bekannt sind. Bei natürlicher Sprache ist beides wohl recht gut gewährleistet. Wenn es aber um technische Übertragung von Nachrichten geht, ist vorhandene Redundanz nicht immer an die zu erwartenden Störungen angepaßt. Zur effektiven und störungsunempfindlichen Übertragung geht man dann in zwei Schritten vor: Man reduziert zunächst die Redundanz der Quelle möglichst weit (Quellenkodierung) und fügt dann neue Redundanz hinzu, die auf den Übertragungskanal zugeschnitten ist (Kanalkodierung). Wir werden uns hier nur mit der Quellenkodierung befassen. Kanalkodierung ist ein so umfangreiches Fach geworden, daß es den Rahmen dieser Vorlesung sprengen würde. Es sei aber unter dem Stichwort Kodierungstheorie auf die Literatur verwiesen, insbesondere vielleicht auf das Buch von Peterson und Weldon (1972).