Representation Learning With Contrastive Predictive Coding梳理

一种通用的无监督学习方法——对比预测编码。通过自回归模型预测潜在空间（高维空间）的未来，以学习高级表征。在训练阶段不涉及具体下游任务。

原文
参考：https://zhuanlan.zhihu.com/p/129076690

主要贡献

1. 将高维数据压缩到更加紧密的潜在嵌入空间，这个空间中条件预测更容易建模。
2. 在这个潜在空间中使用强大的自回归模型来做多步未来预测。
3. 损失函数依靠噪声对比估计，这是与自然语言模型中用于学习词嵌入类似的方式，需要整个模型以端到端的形式进行训练。将最终的模型（对比预测编码，CPC）用在了很多不同的数据模态中，包括图像、语音、自然语言和强化学习，结果表明同样的机制在每一个领域中都学到了有趣的高级表征，而且优于其他方法。

image-20210908124633513

对于输入样本$xt$，\mathrm{有}\mathrm{一}\mathrm{个}\mathrm{非}\mathrm{线}\mathrm{性}\mathrm{编}\mathrm{码}\mathrm{器}$g{enc}$\mathrm{将}\mathrm{其}\mathrm{映}\mathrm{射}\mathrm{为}\mathrm{潜}\mathrm{在}\mathrm{表}\mathrm{示}\mathrm{序}\mathrm{列}$zt=g{enc}(xt)$；\mathrm{对}\mathrm{于}$t$\mathrm{时}\mathrm{刻}\mathrm{之}\mathrm{前}\mathrm{的}\mathrm{所}\mathrm{有}$z{t’},t’<t$\mathrm{有}\mathrm{一}\mathrm{个}\mathrm{自}\mathrm{回}\mathrm{归}\mathrm{模}\mathrm{型}(e.g.GRU)$g{ar}$\mathrm{推}\mathrm{断}\mathrm{得}\mathrm{到}\mathrm{当}\mathrm{前}\mathrm{时}\mathrm{刻}\mathrm{的}$c_t$，\mathrm{利}\mathrm{用}\mathrm{对}\mathrm{当}\mathrm{前}\mathrm{时}\mathrm{刻}\mathrm{的}\mathrm{推}\mathrm{测}$c_t$，\mathrm{推}\mathrm{断}(\mathrm{用}\mathrm{一}\mathrm{个}\mathrm{矩}\mathrm{阵}$W_k$进行映射)得到后面几个时刻的潜在表示序列的映射（预测值）$z’{t+1}$、$z’{t+2}$、$z’{t+3}…$；\mathrm{将}\mathrm{真}\mathrm{实}\mathrm{的}$x{t+1}$、$x{t+2}$、$x{t+3}…$\mathrm{通}\mathrm{过}$g{enc}$得到的潜在表示序列（真实值）做损失函数，达到收敛。最后利用$c_t$完成下游任务。

衡量$x$和$c$的相关性

互信息可以很好的衡量相关性：

$$I(x;c)=\sum _{x,c}p(x,c)log\frac{p(x|c)}{p(x)}$$

但是由于不方便计算（可见MINE.md），作者采用一个正比于$$的函数$$来代替，即：

$$f_k(x_{t+k},c_t)\propto \frac{p(x_{t+k}|c_t)}{p(x_{t+k})}$$

然后这个$fk(x{t+k}, c_t)$函数的具体计算表达式为:

$$f_k(x_{t+k},c_t)=exp(z_{t+k}^T{W}_k{c}_t)$$

我觉得应该才开看，第一步是$Wk^Tz{t+k}$$z{t+k}$$c_t$$W_k^Tz{t+k}$$ct$$(W_k^Tz{t+k})^T$$ct$$z^T{t+k}W_kc_t$；第三步做指数运算。

衡量互信息

经过一系列证明，可以得到：

$$I(x_{t+k};c_t)\ge log(N)-{\mathcal{L}}_N$$

其中$$为：

$${\mathcal{L}}_N=-\underset{X}{\mathbb{E}}[log\frac{f_k(x_{t+k},c_t)}{\sum _{x_j\in X}{f}_k(x_j,c_t)}]$$

可见最小化$$即可完成最大化互信息量的下界。

其中，$$ 指的是正在选用信号的片段$$（正样本），而$$指的是我们可以随便从其他的声音信号里选择一个片段（负样本）。这就是对比的体现。

对$$反向梯度传播即可完成整个算法。

文章中还涉及了对图像、自然语言、语音的不同形式的信号的建模，有需要可以查看原文。