Faculté informatique et communications IC, Section des systèmes de communication, Institut de systèmes de communication ISC (Laboratoire de communications audiovisuelles LCAV)

To code or not to code

Gastpar, Michael ; Vetterli, Martin (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2002 ; no 2687.

Add to personal list
    Summary
    It is well known and surprising that the uncoded transmission of an independent and identically distributed Gaussian source across an additive white Gaussian noise channel is optimal: No amount of sophistication in the coding strategy can ever perform better. What makes uncoded transmission optimal? In this thesis, it is shown that the optimality of uncoded transmission can be understood as the perfect match of four involved measures: the probability distribution of the source, its distortion measure, the conditional probability distribution of the channel, and its input cost function. More generally, what makes a source-channel communication system optimal? Inspired by, and in extension of, the results about uncoded transmission, this can again be understood as the perfect match, now of six quantities: the above, plus the encoding and the decoding functions. The matching condition derived in this thesis is explicit and closed-form. This fact is exploited in various ways, for example to analyze the optimality of source-channel coding systems of finite block length, and involving feedback. In the shape of an intermezzo, the potential impact of our findings on the understanding of biological communication is outlined: owing to its simplicity, uncoded transmission must be an interesting strategy, e.g., for neural communication. The matching condition of this thesis shows that, apart from being simple, uncoded transmission may also be information-theoretically optimal. Uncoded transmission is also a useful point of view in network information theory. In this thesis, it is used to determine network source-channel communication results, including a single-source broadcast scenario, to establish capacity results for Gaussian relay networks, and to give a new example of the fact that separate source and channel coding does not lead to optimal performance in general networks.
    Zusammenfassung
    Es ist eine wohlbekannte und unverschämte Tatsache, dass die unkodierte Übertragung einer Gaussischen Quelle über einen Gaussischen Kanal optimal ist. Dramatischer ausgedrückt: in diesem Beispiel kann auch die durchdachteste und komplizierteste Übertragungstechnik nicht besser sein als die schlichte unkodierte. Was macht unkodierte Übertragung in diesem Beispiel optimal? Die Nemesis des Glückfalls ist, nur unter äusserst günstigen Umständen einzutreffen. Was das genau heisst, wird in dieser Dissertation gezeigt. Vier Masse definieren ein Kommunikationsproblem, als da wären: die Wahrscheinlichkeitsverteilungen der Quelle und des Kanals, das Verzerrungsmass und die Kostenfunktion des Kanals. Wenn diese vier Masse bereits perfekt aufeinander abgestimmt sind, dann ist jegliche Kodierung überflüssig und nur durch Eitelkeit zu rechtfertigen. Allgemeiner gefragt, was macht kodierte Übertragung optimal? Auch dies kann als optimale Abstimmung der betreffenden Masse verstanden werden: wiederum sind die Quellen- und Kanalparameter im Spiel, daneben aber auch die Kodierungs- und die Dekodierungsfunktion. In dieser Dissertation wird eine explizite Formel für die optimale Abstimmung hergeleitet. Dann wird diese Formel auf verschiedene Probleme angewandt, u.a. auf Kodierungssysteme mit endlicher Blocklänge und mit Feedback. In Form eines Intermezzo zeigen wir auf, in welcher Form unsere Resultate dem Verständnis der Kommunikation in biologischen Systemen förderlich sein könnten. Am Beispiel der neuronalen Kommunikation illustrieren wir, dass die unkodierte Übertragung nicht nur wegen ihrer unübertrefflichen Einfachheit interessant ist, sondern dass sie auch optimal sein könnte, wenn nur die Masse abgestimmt wären. Und die Evolution hätte die Möglichkeit gehabt, eine solche Abstimmung herbeizuführen. Schliesslich wird unkodierte Übertragung in Netzwerken diskutiert. Auch hier hält sie einige Überraschungen bereit, so zum Beispiel für ein einfaches Modell eines Broadcast-Netzwerkes, und für ein bestimmtes Netzwerk mit sehr vielen Helferknoten.