Entropie und Information
Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt. Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist. Information ist immer relativ. Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so sehr an dieses Bild gewöhnt, dass wir glauben, dass Information in kleinen Kügelchen daherkommt, die ja
Das Bit hat keine Bedeutung
Das Bit ist die Basis der IT Unsere Informationstechnologie baut auf dem Bit auf. Alles, was in unseren Computern geschieht, basiert auf diesem kleinsten Basiselement der Information. Wenn Sie gefragt werden, was ein einzelnes Bit bedeutet, werden Sie möglicherweise antworten, dass das Bit zwei Zustände einnehmen kann, von denen der eine 0 ist und der andere 1 bedeutet. Auf diese Weise können wir bekanntlich beliebig hohe Zahlen schreiben, wir müssen einfach genügend Bits hintereinander reihen. Aber stimmt das auch? Bedeutet wirklich der eine Zustand im Bit 0 und der andere 1? Können die beiden Zustände nicht auch ganz andere Bedeutungen
Welche Information trägt ein Bit?
Die Frage erscheint Ihnen vermutlich banal. Schliesslich weiss jedermann, was ein Bit ist, nämlich die Möglichkeit einmal aus zwei Zuständen auszuwählen. Wo ist das Problem? Ich möchte zu bedenken geben, dass die Frage nach der Information im Bit damit noch nicht beantwortet ist. Welche Information in einem Bit enthalten ist, hat nämlich auch mit der Frage zu tun, welche zwei Zustände überhaupt zur Auswahl stehen. Klassische Beispiele sind: – 0 und 1 – Wahr und Falsch – Positiv und Negativ – Ein und Aus Selbstverständlich erschöpft sich die Auswahl dadurch nicht. Auch männlich/weiblich, innen/aussen, gut/schlecht oder beliebige andere binäre Paare
