Rika
2020-12-07 13:26:13
在深度学习文献中，X层网络仅指构成网络表示能力的可学习层的使用。
不考虑激活层，归一化层（例如NLR，BatchNorm等），下采样层（例如Maxpooling等）。
层，例如CNN，RNN，FC，，负责网络的代表能力和喜欢进行计数。
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
那就是我的问题出现的地方。我看到BatchNorm在Keras中具有可训练的参数。这是如何运作的？谢谢你里卡！
它具有专门用于规范化的可学习参数gamma和beta。它们不会增加网络的代表能力，它们会使训练变得更容易！让我们这样说吧，如果您仅在网络中使用BN层，您是否会学习描述输入数据的任何功能？另一方面，如果您在网络中使用任何形式的层，例如CNN，FC等，则实际上可以达到一组以新形式表示输入数据的功能。这就是文献中所考虑的。