Entropie zwischen Mikro- und Makroebene
Unter Energie kann sich jedermann etwas vorstellen, unter dem noch wichtigeren Begriff Entropie jedoch die wenigsten. Dabei spielt Entropie in der allgemeinen Physik, der Informationstheorie und der Biologie eine entscheidende Rolle. Und: Es gibt Gründe, weshalb der Begriff so schwierig zu verstehen ist. Das hat vor allem damit zu tun, dass Entropie physikalisch und informationstheoretisch als Abstand zwischen der Mikro- und Makroebene eines untersuchten Objekts definiert ist.
Entropie und Information
Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt. Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist. 1948: Claude E. Shannon erfindet den Begriff "Bit" und verbindet ihn mit Information und Entropie Das Bit ist immer relativ. Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so
Informationsreduktion 8: Unterschiedliche Makrozustände
Zwei Zustände gleichzeitig Im Vorbeitrag habe ich dargestellt, wie ein System auf zwei Ebenen beschrieben werden kann, auf der Ebene des Mikro- und auf der des Makrozustandes. Auf der Ebene des Mikrozustandes finden sich alle Detailinformationen, auf derjenigen des Makrozustandes finden sich weniger, dafür stabilere Informationen. Das klassische Beispiel ist das Wasserglas, wo der Mikrozustand die Bewegung der einzelnen Wassermoleküle beschreibt, der Makrozustand dafür die Temperatur der Flüssigkeit kennt. In diesem Beitrag möchte ich darauf eingehen, wie unterschiedlich die Beziehung zwischen Mikro- und Makrozustand sein kann. Hängt der Makrozustand vom Mikrozustand ab? Der Makrozustand ist informatisch, d.h. bezüglich seines Informationsgehaltes,
Informationsreduktion 7: Mikro- und Makrozustand
Beispiele von Informationsreduktion Für das normale Funktionieren ist es in vielen Gebieten üblich oder sogar nötig, die Menge an Information zu reduzieren. Das betrifft so unterschiedliche Gebiete wie: Kodierung / Klassifizierung Sinneswahrnehmung Fallpauschalen Meinungsbildung Wärmelehre Was ist allen diesen Beispielen gemeinsam? Mikro- und Makrozustand Allen diesen Beispielen ist gemeinsam, dass wir bezüglich Informationen zwei Zustände haben, einen Mikrozustand mit vielen Details und einen Makrozustand mit wesentlich weniger Information. Sehr anschaulich und den meisten noch aus der Schule bekannt, ist das Verhältnis der beiden Ebenen in der Wärmelehre. Beide Zustände existieren gleichzeitig. Sie betreffen weniger das betrachtete Objekt, als vielmehr die
Informationsreduktion 6: Das Wasserglas, revisited
Eine Vereinfachung In meinem Beitrag Informationsreduktion 5: Das klassische Wasserglas habe ich als Beispiel für die Informationsreduktion das Wasserglas erwähnt. Dort reduziert sich die komplexe und detailreiche Information über die Bewegungsenergie der Wassermoleküle (Mikroebene) zur simplen Information über die Temperatur des Wassers. Ein Physiker könnte dieses Beispiel auch kritisieren. Zu Recht, denn das Wasserglas ist viel komplizierter. Die Berechnungen von Boltzmann gelten nur für das ideale Gas, also für ein Gas, dessen Moleküle keine Interaktionen untereinander haben, ausser den Stössen, die sie untereinander erfahren und dabei ihre individuellen Bewegungsinformationen untereinander austauschen. Ein ideales Gas Ein solches Gas existiert auf der
Informationsreduktion 5: Das klassische Wasserglas
Informationsreduktion in der Wärmelehre In der Wärmelehre findet sich ein ganz besonderes Beispiel für die Informationsreduktion. Das Beispiel ist deshalb besonders, weil es so einfach ist. Es zeigt das Grundgerüst der Informationsreduktion in aller Deutlichkeit, ohne die Komplexität anderer Beispiele, z.B. solchen aus der Biologie. Es ist vielen von uns auch aus dem Physikunterricht bereits bestens bekannt. Was ist Temperatur? Ein Wasserglas enthält viele Wassermoleküle, die sich mit unterschiedlichen Geschwindigkeiten in unterschiedlichen Richtungen bewegen, dabei immer wieder mit anderen Wassermolekülen zusammenstossen und bei jedem Stoss Geschwindigkeit und Bewegungsrichtung ändern. Mit anderen Worten: Das Wasserglas ist der typische Fall eines realen
Informationsreduktion 4: Framing
Framing macht den Unterschied Aktuell [2019] wird der Framing-Effekt häufig erwähnt. Es geht bei dem Effekt darum, dass die gleiche Botschaft ganz unterschiedlich wahrgenommen wird, je nachdem, welche Zusatzinformationen mit der Botschaft mitgesendet werden. Diese zusätzlichen Informationen dienen dazu, der Botschaft den passenden Rahmen (Frame) zu geben, sodass die Empfänger der Botschaft entsprechend reagieren. Auch wenn die eigentliche Botschaft neutral gesehen die gleiche wäre und die Zusatzinformationen der Wahrheit entsprechen, kann der Empfänger mit Framing gehörig manipuliert werden - nur schon durch die Auswahl der (an sich korrekten) Details. Framing wird selbstverständlich in der Werbung verwendet, ganz besonders aktuell und
Informationsreduktion 3: Information ist Selektion
Informationsreduktion ist überall Im vorhergehenden Beitrag habe ich beschrieben, wie bei der Kodierung medizinischer Sachverhalte - einem Vorgang, der von der Realität bis zu den Fallpauschalen (DRGs) führt - eine in der Tat drastische Reduktion der Informationsmenge stattfindet: Informationsreduktion Diese Informationsreduktion ist nun keinesfalls auf die Information in der Medizin und ihre Kodierung beschränkt, sondern ist ein ganz allgemeines Phänomen. Immer wenn wir wahrnehmen, führen schon die Sinnesorgane, z.B. die Retina, eine Reduktion der Informationsmenge durch, im Hirn werden die Daten weiter vereinfacht, und im Bewusstsein kommt nur die für uns wichtige Essenz der Eindrücke an. Informationsreduktion ist
Informationsreduktion 2: Der drastische Trichter
Der Trichter der Informationsreduktion Im vorhergehenden Beitrag Informationsreduktion 1 habe ich eine Kette der Informationsverarbeitung vom Patienten bis zur Fallpauschale (DRG) beschrieben: Bei dieser Kette handelt es sich um einen Trichter, der die verfügbare Informationsmenge bei jedem Schritt reduziert. Das Ausmass der Reduktion ist drastisch. Stellen Sie sich vor, sie haben den Patienten vor sich. Um ihn zu beschreiben, können Sie z.B. die roten Blutkörperchen zählen. Es gibt 24–30 Billionen (= 24–30·1012 ) davon, jedes hat eine bestimmte Form, einen Ort im Körper, eine Bewegung zu einem bestimmten Zeitpunkt und eine bestimmte Menge an rotem Blutfarbstoff im Innern. Das ist in
Informationsreduktion 1: Kodierung
Zwei Arten von Kodierung Im einem früheren Beitrag habe ich zwei Arten von Kodierung beschrieben, die sich grundsätzlich unterscheiden. In der ersten Art wird versucht, die komplette Information der Quelle in die kodierte Form zu übertragen, in der zweiten Art wird bewusst darauf verzichtet. Es ist zweite, also die informationsverlierende Form, die uns besonders interessiert. Als ich vor 20 Jahren in meinen Präsentationen auf diesen Unterschied hinwies und das Wort "Informationsverlust" prominent in meinen Folien auftauchte, wurde ich von meinen Projektpartnern darauf aufmerksam gemacht, dass das Wort bei den Zuhörern möglicherweise schlecht ankommt. Schliesslich wollen alle gewinnen, niemand will verlieren.
