Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf den US-amerikanischen Mathematiker Claude Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information und Entropie, der Informationsübertragung, Datenkompression und Kodierung sowie verwandten Themen.
Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (z. B. Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation) eingesetzt.
Die Shannonsche Theorie verwendet den Begriff der Entropie, um den Informationsgehalt (auch Informationsdichte genannt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz nach Shannon und Ralph Hartley. Es beschreibt die theoretische Obergrenze der Kanalkapazität, also die maximale Datenübertragungsrate, die ein Übertragungskanal in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis ohne Übertragungsfehler erreicht.
Geschichte
Vor allem Claude Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und der Wahrscheinlichkeitstheorie.
Er fragte sich, wie man eine verlustfreie Datenübertragung über elektronische (heute auch optische) Kanäle sicherstellen kann. Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen.
Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und zu korrigieren. Dazu ist es notwendig, zusätzliche redundante (d. h. keine zusätzliche Information tragenden) Daten mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen.
Es ist zweifelhaft und wurde auch von Shannon so nicht beansprucht, dass seine 1948 veröffentlichte Studie A Mathematical Theory of Communication („Informationstheorie“) von substantieller Bedeutung für Fragestellungen außerhalb der Nachrichtentechnik ist. Bei dem von ihm benutzten, mit der Thermodynamik verbundenen Entropiebegriff handelt es sich um eine formale Analogie für einen mathematischen Ausdruck. Allgemein lässt sich die Informationstheorie als Ingenieurtheorie auf hohem Abstraktionsniveau definieren. Sie zeigt den Trend zur Verwissenschaftlichung der Technik, der zur Herausbildung der Ingenieurwissenschaften führte.
Der Bezugspunkt von Shannons Theorie ist die forcierte Entwicklung der elektrischen Nachrichtentechnik mit ihren Ausprägungen Telegrafie, Telefonie, Funk und Fernsehen in der ersten Hälfte des 20. Jahrhunderts. Vor und neben Shannon trugen auch Harry Nyquist, Ralph Hartley und Karl Küpfmüller mit bedeutenden Beiträgen zur Theoriebildung der Nachrichtentechnik bei. Mathematische Klärungen von Relevanz für die Informationstheorie lieferte Norbert Wiener, der ihr auch im Rahmen seiner Überlegungen zur Kybernetik zu beträchtlicher Publizität verhalf.
Eine übergreifende Frage für Nachrichtentechniker war, wie eine wirtschaftlich-effiziente und störungsfreie Nachrichtenübertragung erreicht werden kann. Es wurden die Vorteile der Modulation erkannt, d. h. der Veränderung der Form der Nachricht mit technischen Mitteln. Im technischen Zusammenhang lassen sich zwei Grundformen für Nachrichten – kontinuierlich und diskret – unterscheiden. Diesen können die gebräuchlichen Darstellungsformen von Information/Nachrichten Schrift (diskret), Sprache (kontinuierlich) und Bild (kontinuierlich) zugeordnet werden.
Ende der 1930er Jahre kam es zu einem technischen Durchbruch, als es mit Hilfe der Puls-Code-Modulation gelang, eine als Kontinuum vorliegende Nachricht in befriedigender Annäherung diskret darzustellen. Mit dieser Methode wurde es möglich, Sprache zu telegrafieren. Shannon, der für die Bell Telephone Laboratories arbeitete, war mit der technischen Entwicklung vertraut. Die große Bedeutung seiner Theorie für die Technik liegt darin, dass er Information als „physikalische Größe“ mit einer Maß- bzw. Zähleinheit, dem Bit, definierte. Das erlaubte quantitativ exakt, den Aufwand für die technische Übertragung von Informationen in verschiedener Gestalt (Töne, Zeichen, Bilder) zu vergleichen, die Effizienz von Codes sowie die Kapazität von Informationsspeichern und -übertragungskanälen zu bestimmen.
Die Definition des Bit ist ein theoretischer Ausdruck der neuen technischen Möglichkeiten, unterschiedliche Darstellungsformen von Nachrichten (Information) in eine gemeinsame, für technische Zwecke vorteilhafte Repräsentation der Information zu transformieren: Eine Folge von elektrischen Impulsen, die durch einen Binärcode ausgedrückt werden kann. Das ist letztendlich die Grundlage für eine Informationstechnik auf digitaler Basis, wie auch für Multimedia. Das war im Prinzip mit der Informationstheorie bekannt. In der Praxis wurde jedoch der digitale Umbruch der Informationstechnik erst später möglich – verbunden mit der stürmischen Entwicklung der Mikroelektronik in der zweiten Hälfte des 20. Jahrhunderts.
Shannon selbst bezeichnet sein Werk als eine „mathematische Theorie der Kommunikation“. Er schließt semantische und pragmatische Aspekte der Information, also Aussagen über den „Inhalt“ übertragener Nachrichten sowie deren Bedeutung für den Empfänger ausdrücklich aus. Dies bedeutet, dass eine „sinnvolle“ Botschaft ebenso gewissenhaft übertragen wird wie eine zufällige Folge von Buchstaben. Obwohl die Shannon-Theorie üblicherweise als „Informationstheorie“ bezeichnet wird, macht sie also keine direkte Aussage über den Informationsgehalt von übertragenen Botschaften.
In neuerer Zeit wird zunehmend versucht, die Komplexität einer Nachricht nicht mehr nur über statistische Betrachtung der Daten zu bestimmen, sondern vielmehr die Algorithmen zu betrachten, die diese Daten erzeugen können. Solche Ansätze sind insbesondere die Kolmogorow-Komplexität und die algorithmische Tiefe, sowie die algorithmische Informationstheorie von Gregory Chaitin. Klassische Informationskonzepte versagen teilweise in quantenmechanischen Systemen. Dies führt zum Konzept der Quanteninformation.
Die Informationstheorie stellt mathematische Methoden zur Messung bestimmter Eigenschaften von Daten zur Verfügung. Der Begriff der Information aus der Informationstheorie hat keinen direkten Bezug zu Semantik, Bedeutung und Wissen, da sich diese Eigenschaften mit informationstheoretischen Verfahren nicht messen lassen.
Siehe auch
Literatur
- Claude E. Shannon: A mathematical theory of communication. Bell System Tech. J., 27:379–423, 623–656, 1948. (Shannons bahnbrechende Veröffentlichung)
- Claude E. Shannon, Warren Weaver: Mathematische Grundlagen der Informationstheorie, [Dt. Übers. von The mathematical theory of communication durch Helmut Dreßler]. – München, Wien : Oldenbourg, 1976, ISBN 3-486-39851-2
- Neil J. A. Sloane, Aaron D. Wyner: Claude Elwood Shannon: Collected Papers; IEEE Press, Piscataway, NJ, 1993.
- Christoph Arndt: Information Measures, Information and its Description in Science and Engineering (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0, springer.com
- Siegfried Buchhaupt: Die Bedeutung der Nachrichtentechnik für die Herausbildung eines Informationskonzeptes der Technik im 20. Jahrhundert. In: Technikgeschichte 70 (2003), S. 277–298.
Lehrbücher
- Holger Lyre: Informationstheorie – Eine philosophisch-naturwissenschaftliche Einführung. UTB 2289. Stuttgart: UTB, 2002, ISBN 3825222896.
- Werner Heise, Pasquale Quattrocchi: Informations- und Codierungstheorie. Mathematische Grundlagen der Daten-Kompression und -Sicherung in diskreten Kommunikationssystemen. 3. Auflage. Springer, Berlin-Heidelberg 1995, ISBN 3-540-57477-8.
- John R. Pierce: An Introduction to Information Theory: Symbols, Signals and Noise. Dover Publications, Inc., New York, second edition, 1980.
- William Sacco, Wayne Copes, Clifford Sloyer und Robert Stark: Information Theory: Saving Bits. Janson Publications, Inc., Dedham, MA, 1988.
- Solomon Kullback: Information Theory and Statistics. (Dover Books on Mathematics), 1968.
- Alexander I. Khinchin: Mathematical Foundations of Information Theory.
- Fazlollah M. Reza: An Introduction to Information Theory. 1961.
- Robert B. Ash: Information Theory. 1965.
- Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. (Wiley Series in Telecommunication), 1991.
Populärwissenschaftliche Einführungen
- William Poundstone: Die Formel des Glücks.