Resumen

Los conceptos de entropía e información son desarrollados en el Capítulo §2 de este documento. Se introducen a partir de un pequeño análisis en el mundo de lo discreto, pero luego son construidos en el contexto de lo continuo. También se introduce el concepto de \textit{divergencia de Kullback-Leibler}, la cual permite establecer ciertas propiedades útiles de la entropía para el caso de variables aleatorias absolutamente continuas, y es intepretada como una especie de medida de ``distancia'' entre dos densidades de probabiidad; aunque en un sentido estricto, ésta no define una métrica. Además, se añade un apéndice que expone el concepto de entropía binaria; describe algunos problemas matemáticos asociados a la entropía para variables aleatorias continuas, así como una relación que permite trabajar con los conceptos usados en el resto del documento. En el mismo apéndice se añade, en sentido estético, una relación entre la entropía del caso continuo, y la información de Fisher. Aunque la teoría de la información (en conjunto con la teoría de análisis de señales) estudia los canales que reciben cualquier tipo de señales, el caso más general es cuando reciben señales de amplitud continua, bien sean continuas en el tiempo, bien sean discretas en el tiempo. Y, entre todos los canales que reciben señales de amplitud continua, el modelo de un canal \textit{gaussiano} es el más importante. Así, El tercer capítulo (§3) describe la construcción de un canal gaussiano discreto en el tiempo, que se modela con un output $Y_i=X_i+Z_i$ en tiempo $i=1,...,n$, donde $X_i$ es el input, y $Z_i\sim \mathcal{N}(0,N)$ (véase Fig. \ref{Fig. 2}). Una vez dado eso, se continúa directamente al \textit{teorema de capacidad} para un canal gaussiano discreto en el tiempo: El cual indica, en sentido intuitivo, el mayor valor al que puede aproximarse la tasa de transmisión de información a través del canal, de modo que exista una manera de codificar el mensaje original, y la probabilidad de que este sea transmitido con distorsión sea nula. En el cuarto capítulo (§4) se desarrolla la teoría asociada a procesos gaussianos, estableciéndose el concepto de estos procesos y variadas propiedades que serán de vital importancia para el desarrollo del cuarto capítulo. En partícular, se describen los conceptos de estacionariedad, ergodicidad y se construye la \textit{densidad espectral de potencia}. Esta última, junto al concepto de \textit{autocorrelación}, constituyen el eje central de la teoría de operadores integrales necesaria para generar una asociación entre los canales gaussianos discretos en el tiempo con aquellos continuos. En el quinto capítulo (§5) se construye un canal gaussiano continuo en el tiempo, en el cual la función input (o señal) $\alpha(t)$ es continua en el tiempo y se restringe a un intervalo, dígase $\left[\frac{-\tau}{2}, \frac{\tau}{2}\right]$, de longitud $\tau$. El output del canal se dará por $\alpha(t)+\eta(t)$ donde $\eta(t)$ es un proceso gaussiano estacionario restringido al mismo intervalo (véase Fig. \ref{Fig. 2}). Esta última construcción se da por las limitaciones físicas de un canal en la vida real. Además, el tiempo acá es tomado en un sentido más general que no se define en una dirección en la recta real (como el intervalo $[0,\tau]$ o $[0,\infty)$). La teoría desarrollada en el capítulo §\ref{chap:preliminares}, permitirá observar un canal gaussiano continuo en el tiempo como una generalización de un canal gaussiano discreto. En particular, el uso de la función autocorrelación (como transformada inversa de Fourier de la densidad espectral de potencia) indicará la posibilidad de utilizar el teorema de Karhunen-Loève, para establecer una representación del proceso $\eta(t)$ como una sucesión de variables gaussianas. Dado que, para lo anterior, se establece una base de $L^2[-\frac{\tau}{2},\frac{\tau}{2}]$, la señal $\alpha(t)$ también es representada como una sucesión en $\ell^2[\mathbb{R}]$. Con ello se considera una restricción de la potencia por $\tau M$, de la sucesión que define a $\alpha(t)$; donde $M$ es una constante positiva arbitraria. Lo que el \textit{teorema de capacidad} vendrá a decir es que, en el caso de un canal gaussiano continuo en el tiempo, el mayor valor al que la tasa de transmisión puede acercarse es $\frac{M}{2}$, sin comprometer el código y evitar su distorsión.