通信里如何发出服从高斯分布的信号？

我们知道在通信中，为了达到信道容量，需要发送的信号服从高斯分布，那么问题来了，确定的通信信号怎么变成服从高斯分布的信号发出去呢？先从高斯分布的最大熵原理谈起吧。

最大熵分布

熵指的是一种混乱的程度，整个宇宙都是向着熵增，最混乱的状态发展。由香农引入信息论之后，表示的是随机变量的不确定性，熵越大，不确定性就越强，包含的可能性就越多。

离散变量的熵

如果变量是离散的，熵表达式为

$$H=-\sum_{i=1}^k p_i lnp_i$$

同时有一个限制条件

$$\sum_{i=1}^k p_i =1$$

选用拉格朗日乘数法去求熵的最大值，新的目标函数为

$$Q(p_1,p_2,\cdots,p_k)=-\sum_{i=1}^kp_i\log p_i+\lambda(\sum_{i=1}^kp_i-1)$$

最终的结论就是等概率下包含的信息是最多的，注意只有一个概率和的约束条件。

连续变量的熵

如果随机变量是连续的，那么熵的表达式为

$$H[x]=-\int p(x)lnp(x)dx$$

同时我们要求有三个约束
概率和约束：$\int_{+\infty}^{\infty}p(x)dx=1$
均值约束：$\int_{+\infty}^{\infty}xp(x)dx=\mu$
方差约束：$\int_{+\infty}^{\infty}(x-\mu)^2p(x)dx=\sigma^2$
拉格朗日乘数法最后整理得到的概率分布就是：

$$p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

这个式子正是正态分布的表达式，它包含的信息是最多的,具体推导在超链接里。

信道容量

信道容量被定义为接收信号和发送信号的最大的互信息

$$I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$$

物理意义就是由Y引起的X的不确定性的减小量，互信息越大由Y引起的X的不确定性的减小量越大；观察Y之后X中剩余的不确定性越小，就越能恢复出原始数据。对于信号$Y=X+N$，信道容量为

$$C = \max_{p(x)} I(X,Y)=\max_{p(x)}(H(Y)-H(Y|X))=\max_{p(x)}H(Y)-H(N)$$

这是因为已知X，不确定只来自N，所以$H(Y|X)=H(N)$。
因此要让Y熵最大信道容量才会最大，因此Y要服从高斯分布，由于N通常是高斯分布，那么输入信号X也要服从高斯分布才行，这就是为什么要输入信号X服从高斯分布才能达到信道容量。

发出高斯分布的信号

星座映射，概率星座整形

通过星座整形技术，对QAM等信号星座点的分布重新设计，有可能改善信号的传输性能，达到提高传输容量的目的。本质上整形方法都是让发送信号的幅度去逼近高斯分布。也就是让星座图中央概率高，旁边概率低。（概率整形后的星座图见超链接）

这里当初理解时有个问题就是：“信源发送的符号独立、等概率分布时，熵有最大值”，以及“对QAM信号星座点的分布重新设计，有可能改善信号的传输性能，达到提高传输容量的目的。比如，保持星座点位置不变，改变部分星座点出现的概率，使其非均匀分布”，这两句话是否有矛盾呢？

当然这是没有矛盾的。前者这个是没有功率限制的，也就是没有方差约束的时候才是对的，实际星座图是有功率约束的，因此最优是截断高斯分布这种。也就是求离散的，有功率限制的最大熵，当星座点足够多趋于连续时，最大熵是截断高斯分布，离散类比，是一种近似高斯的离散分布。

高阶调制（如 1024-QAM）时，信号的幅度变化更连续，更接近高斯分布。

OFDM

OFDM也会让信号趋于高斯分布。

假设你每次掷一颗骰子，得到的结果是1-6之一。单次掷骰子的结果是确定的，但如果你掷1000次，并统计所有结果的分布，它会是均匀分布。现在假设你掷 1000 颗骰子，并取它们的和，你会发现：
这个和的分布逐渐变成高斯分布（中心极限定理）。
这就是为什么多个信号叠加（例如 OFDM、多径效应）会让信号更接近高斯。
现代通信系统结合高阶 QAM + OFDM，让信号接近高斯输入，以接近最大信道容量。

信道编码

chatgpt说：发送的信号本身由比特流生成，而比特流可以设计成均匀随机分布（比如用 Turbo 码、LDPC 码）。经过调制后，信号的取值范围更连续，逐渐接近高斯。

---