推断(inference)、贝叶斯规则(Bayes's rule)与导出分布(derived distribution)

2023-04-23,,

1. 建模

对原始信号 X 进行观测,观测可以抽象为(离散:PY|X(y|x), 连续:fY|X(y|x)),物理世界噪声的存在,将导致观测到的 X 出现一定的噪声,记为 Y:

X⇒fY|X(y|x)⇒Y

对于推断(inference)问题而言,我们更多的是考虑如何从 Y 获取原始的无噪信号 X:

Y⇒fX|Y(y|x)⇒X

注意,原始信号 X 离散的,并不意味着其观测值也是离散的:

{X=0,1Y=X+W

而 W 是高斯噪声。这种由离散信号因为高斯噪声(连续概率分布)的存在而最终得到连续的观察值,大量的见于通信和信号处理专业。

对于离散 X,和连续型 Y,则会有:

PX|Y(y|x)=PX(x)fY|X(y|x)fY(y)

证明如下:

P(X=x,y≤Y≤y+δ)==P(X=x)P(y≤Y≤y+δ∣∣X=x)P(y≤Y≤y+δ)P(X=x∣∣y≤Y≤y+δ)

将其转化为连续的形式则有变为:

P(X=x,y≤Y≤y+δ)==P(X=x)⋅fY|X(y|x)⋅δf(Y=y)⋅δ⋅PX|Y(x|y)

该等式便完成了 pdf 和 pmf 的连接,其中 X 为离散型原始数据,Y 为连续型观测值。

2. 贝叶斯规则

PX(x)PY|X(y|x)=PX,Y(x,y)=PY(y)PX|Y(x|y)⇓PX|Y(x|y)=PX(x)PY|X(y|x)PY(y)

3. 导出分布

推断(inference)、贝叶斯规则(Bayes's rule)与导出分布(derived distribution)的相关教程结束。

《推断(inference)、贝叶斯规则(Bayes's rule)与导出分布(derived distribution).doc》

下载本文的Word格式文档,以方便收藏与打印。