Entropie zwischen Mikro- und Makroebene
Unter Energie kann sich jedermann etwas vorstellen, unter dem noch wichtigeren Begriff Entropie jedoch die wenigsten. Dabei spielt Entropie in der allgemeinen Physik, der Informationstheorie und der Biologie eine entscheidende Rolle. Und: Es gibt Gründe, weshalb der Begriff so schwierig zu verstehen ist. Das hat vor allem damit zu tun, dass Entropie physikalisch und informationstheoretisch als Abstand zwischen der Mikro- und Makroebene eines untersuchten Objekts definiert ist.
Entropie und Information
Der Begriff Entropie wird gerne vermieden, weil er eine gewisse Komplexität enthält, die sich nicht wegdiskutieren lässt. Doch wenn wir über Information sprechen, müssen wir auch über Entropie sprechen. Denn Entropie ist das Mass für die Informationsmenge. Wir können nicht verstehen, was Information ist, ohne zu verstehen, was Entropie ist. Information ist immer relativ. Wir glauben, dass wir Information packen können, so wie wir Bits in einem Speichermedium ablegen. Die Bits sind dann die Information, die objektiv verfügbar ist. Wir haben uns so sehr an dieses Bild gewöhnt, dass wir glauben, dass Information in kleinen Kügelchen daherkommt, die ja
Fünf Vorurteile über Entropie
Nerds interessieren sich gern für entlegene Themen. Da passt Entropie gut hinein, nicht wahr? Blutleere Nerds stellen sich damit als intellektuell überlegen dar. Dieses Spiel wollen Sie nicht mitmachen und Sie denken, dass es keinen wirklichen oder gar praktischen Grund gibt, sich mit Entropie zu beschäftigen. Diese Haltung ist sehr verbreitet und ziemlich falsch. Entropie ist kein nerdiges Thema, sondern bestimmt ganz grundlegend unser Leben, von der elementaren Physik bis in den praktischen Alltag hinein.
Wie real ist das Wahrscheinliche?
Was nicht im Korpus ist, ist für die KI unsichtbar Korpusbasierte KI-Systeme sind auf Erfolgskurs. Sie sind 'disruptiv', d.h. sie verändern unsere Gesellschaft nachhaltig und in sehr kurzer Zeit. Genügend Gründe also, sich zu vergegenwärtigen, wie diese Systeme effektiv funktionieren. In den Vorbeiträgen habe ich dargelegt, dass diese Systeme aus zwei Teilen bestehen, nämlich einem Daten-Korpus und einem neuronalen Netz. Selbstverständlich kann das Netz nichts erkennen, was nicht bereits im Korpus steckt. Die Blindheit des Korpus setzt sich automatisch im neuronalen Netz fort und die KI kann letztlich nur hervorbringen, was bereits in den Daten des Korpus vorgegeben ist. Ebenso
