Entropie und Information
Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt. Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist. 1948: Claude E. Shannon erfindet den Begriff "Bit" und verbindet ihn mit Information und Entropie Das Bit ist immer relativ. Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so
Informationsreduktion 8: Unterschiedliche Makrozustände
Zwei Zustände gleichzeitig Im Vorbeitrag habe ich dargestellt, wie ein System auf zwei Ebenen beschrieben werden kann, auf der Ebene des Mikro- und auf der des Makrozustandes. Auf der Ebene des Mikrozustandes finden sich alle Detailinformationen, auf derjenigen des Makrozustandes finden sich weniger, dafür stabilere Informationen. Das klassische Beispiel ist das Wasserglas, wo der Mikrozustand die Bewegung der einzelnen Wassermoleküle beschreibt, der Makrozustand dafür die Temperatur der Flüssigkeit kennt. In diesem Beitrag möchte ich darauf eingehen, wie unterschiedlich die Beziehung zwischen Mikro- und Makrozustand sein kann. Hängt der Makrozustand vom Mikrozustand ab? Der Makrozustand ist informatisch, d.h. bezüglich seines Informationsgehaltes,
Informationsreduktion 7: Mikro- und Makrozustand
Beispiele von Informationsreduktion Für das normale Funktionieren ist es in vielen Gebieten üblich oder sogar nötig, die Menge an Information zu reduzieren. Das betrifft so unterschiedliche Gebiete wie: Kodierung / Klassifizierung Sinneswahrnehmung Fallpauschalen Meinungsbildung Wärmelehre Was ist allen diesen Beispielen gemeinsam? Mikro- und Makrozustand Allen diesen Beispielen ist gemeinsam, dass wir bezüglich Informationen zwei Zustände haben, einen Mikrozustand mit vielen Details und einen Makrozustand mit wesentlich weniger Information. Sehr anschaulich und den meisten noch aus der Schule bekannt, ist das Verhältnis der beiden Ebenen in der Wärmelehre. Beide Zustände existieren gleichzeitig. Sie betreffen weniger das betrachtete Objekt, als vielmehr die
Informationsreduktion 6: Das Wasserglas, revisited
Eine Vereinfachung In meinem Beitrag Informationsreduktion 5: Das klassische Wasserglas habe ich als Beispiel für die Informationsreduktion das Wasserglas erwähnt. Dort reduziert sich die komplexe und detailreiche Information über die Bewegungsenergie der Wassermoleküle (Mikroebene) zur simplen Information über die Temperatur des Wassers. Ein Physiker könnte dieses Beispiel auch kritisieren. Zu Recht, denn das Wasserglas ist viel komplizierter. Die Berechnungen von Boltzmann gelten nur für das ideale Gas, also für ein Gas, dessen Moleküle keine Interaktionen untereinander haben, ausser den Stössen, die sie untereinander erfahren und dabei ihre individuellen Bewegungsinformationen untereinander austauschen. Ein ideales Gas Ein solches Gas existiert auf der
