Entropie und Information
Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt. Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist. 1948: Claude E. Shannon erfindet den Begriff "Bit" und verbindet ihn mit Information und Entropie Das Bit ist immer relativ. Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so
Das Bit hat keine Bedeutung
Haben Sie sich schon einmal überlegt, was ein einzelnes Bit bedeutet? Bedeutet es wirklich 0 oder 1? Die Wahrheit ist, dass das Bit völlig abstrakt ist und an sich keine Bedeutung besitzt. Eine solche wird stets von aussen gegeben. Das Bit ist die Basis der IT Unsere Informationstechnologie baut auf dem Bit auf. Alles, was in unseren Computern geschieht, basiert auf diesem kleinsten Basiselement der Information. Wenn Sie gefragt werden, was ein einzelnes Bit bedeutet, werden Sie möglicherweise antworten, dass das Bit zwei Zustände einnehmen kann, von denen der eine 0 ist und der andere 1 bedeutet. Auf diese Weise
Welche Information trägt ein Bit?
Die Frage erscheint Ihnen vermutlich banal. Schliesslich weiss jedermann, was ein Bit ist, nämlich die Möglichkeit einmal aus zwei Zuständen auszuwählen. Doch woraus wird gewählt? Was ist die Bedeutung der beiden Zustände des Bits? Diese Information steckt nicht im Bit, sondern in seiner Umgebung. Was die beiden Zustände des Bits wirklich bedeuten Das Bit kann zwei Zustände unterscheiden, doch was ist die Bedeutung der beiden? Die Frage nach der Information im Bit ist mit der Wahl von einem der beiden Zustände noch nicht beantwortet ist. Welche Information in einem Bit enthalten ist, hat nämlich auch mit der Frage zu
