benjaminplanche
2018-06-13 22:20:43
你可以使用torch.nn.AvgPool1d（或torch.nn.AvgPool2d，torch.nn.AvgPool3d）执行均值合并-与总合并成比例。如果确实需要求和的值，则可以将平均输出乘以池化表面。
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
您的意思是，首先执行Avgpool2d，然后如果内核大小为4，则将结果张量乘以4？
是的，首先进行平均池化，然后将结果乘以
4 * 4 = 16ifkernel_size=4（因为这意味着平均值是在4 * 4 = 16元素区域上计算的）。