Formelsammlung Informationstheorie. Aus dem Inhalt: Informationstheorie, Informationsbegriff, Wahrscheinlichkeiten, Informationsquellen, Informationsübertragung, Codierung von Informationen, (...).
Inhaltsverzeichnis
- Informationsbegriff
- Definition
- Informationsbegriff nach Shannon
- Wahrscheinlichkeiten
- Unabhängige Wahrscheinlichkeit
- Bedingte Wahrscheinlichkeit
- Informationsquellen
- Definition
- Quellen ohne Gedächtnis
- Quellen mit Gedächtnis (Markow-Quellen)
- Verbundquellen
- Verbundquellen mit abhängigen Ereignissen
- Beispiel
- Informationsübertragung
- Grundmodell
- Informationsmaße
- Summe aller Wahrscheinlichkeiten
- Informationsgehalt
- Entscheidungsgehalt
- Mittlerer Informationsgehalt und Entropie
- Entropie einer Verbundquelle
- Entropie einer Verbundquelle mit abhängigen Ereignissen
- Entropieredundanz
- Symmetrisch gestörter Binärkanal
- Beispiel Entropien
- Codierung von Informationen
- Definition
- Informationsfluss
- Kanalkapazität
- Signalkodierung
Zielsetzung und Themenschwerpunkte
Dieser Text befasst sich mit der Informationstheorie und untersucht den statistischen Aspekt von Information, losgelöst von ihrer Bedeutung. Er erklärt die Konzepte von Wahrscheinlichkeit, Informationsquellen und -übertragung sowie die Messung von Information anhand verschiedener Informationsmaße. Der Text beleuchtet außerdem die Codierung von Informationen und deren Anwendung in der Informationsübertragung.
- Definition und Konzepte der Informationstheorie
- Wahrscheinlichkeiten und deren Anwendung in der Informationsübertragung
- Unterscheidung und Analyse verschiedener Informationsquellen
- Quantifizierung von Information mithilfe von Informationsmaßen
- Codierung von Informationen und ihre Bedeutung für die Informationsübertragung
Zusammenfassung der Kapitel
Informationsbegriff
Dieses Kapitel definiert den Begriff der Information in der Informationstheorie als den statistischen Aspekt, unabhängig von ihrer Bedeutung. Es stellt den Informationsbegriff nach Shannon vor, der Information als Beseitigung von Unwissenheit definiert.
Wahrscheinlichkeiten
Dieses Kapitel behandelt die verschiedenen Wahrscheinlichkeiten, die in der Informationstheorie relevant sind. Es erklärt die unabhängige Wahrscheinlichkeit und die bedingte Wahrscheinlichkeit sowie deren Anwendung in der Analyse von Information.
Informationsquellen
Dieses Kapitel beschreibt verschiedene Arten von Informationsquellen, darunter Quellen ohne Gedächtnis, Quellen mit Gedächtnis (Markow-Quellen) und Verbundquellen. Es behandelt auch Verbundquellen mit abhängigen Ereignissen und bietet ein Beispiel zur Veranschaulichung der Konzepte.
Informationsübertragung
Dieses Kapitel stellt das Grundmodell der Informationsübertragung vor, das aus einer Quelle, einem Sender, einem Übertragungskanal, einem Empfänger und einer Senke besteht. Es erklärt die verschiedenen Komponenten und deren Rolle im Prozess der Informationsübertragung.
Informationsmaße
Dieses Kapitel führt verschiedene Informationsmaße ein, darunter die Summe aller Wahrscheinlichkeiten, den Informationsgehalt, den Entscheidungsgehalt und die Entropie. Es erklärt die Berechnung und Bedeutung dieser Maße sowie ihre Anwendung in der Analyse von Information.
Schlüsselwörter
Informationstheorie, Informationsbegriff, Wahrscheinlichkeit, Informationsquellen, Informationsübertragung, Informationsmaße, Entropie, Codierung, Signalkodierung, Kanalkapazität.
- Arbeit zitieren
- Dipl.-Ing. (FH), Dipl-Inform. (FH) Patrick Schimmel (Autor:in), 2011, Formelsammlung Informationstheorie, München, GRIN Verlag, https://www.hausarbeiten.de/document/279533
