119
2021-05-02 17:13:10
这可能是由于你系统的过量使用处理模式造成的。
在默认模式下0，
启发式过量使用处理。明显的地址空间过度使用被拒绝。用于典型系统。它确保严重的疯狂分配失败，同时允许过度使用以减少交换使用。在这种模式下，允许根分配更多的内存。这是默认设置。
此处没有很好地解释所使用的确切启发式方法，但在Linux 上通过提交启发式方法和此页面上对此进行了更多讨论 。
你可以通过运行来检查当前的过量使用模式
$ cat /proc/sys/vm/overcommit_memory
0
在这种情况下，你正在分配
>>> 156816 * 36 * 53806 / 1024.0**3
282.8939827680588
~282 GB 并且内核说得很好，显然我无法将那么多物理页面提交给它，并且它拒绝分配。
如果（以 root 身份）运行：
$ echo 1 > /proc/sys/vm/overcommit_memory
这将启用“始终过量使用”模式，你会发现系统确实允许你进行分配，无论它有多大（至少在 64 位内存寻址范围内）。
我自己在具有 32 GB RAM 的机器上对此进行了测试。在过量使用模式下，0我也得到了一个MemoryError，但在将其改回后1可以工作：
>>> import numpy as np
>>> a = np.zeros((156816, 36, 53806), dtype='uint8')
>>> a.nbytes
303755101056
然后，你可以继续写入阵列中的任何位置，系统只会在你明确写入该页面时分配物理页面。所以你可以小心地将它用于稀疏数组。
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13
这是 Linux 内核的一项特殊功能，因此在 MacOS 上不一定有直接的等价物，尽管可能有类似的东西。我认为在 Mac 上修改内核设置并不容易。
@Iguananaut“小心”警告的确切含义是什么？IE。在带有 GTX 1080 GPU 的 Ubuntu 18 服务器上出现问题的最坏情况是什么？
@mLstudent33 首先，这与您的 GPU 无关，它有自己的内存。我的意思是你仍然可以填满你的内存——每次你写入内存中的某个页面时，该页面（通常是 4k 字节）必须提交到物理内存。所以最坏的情况是你的内存不足。
此更改是立即生效还是我们需要重新启动我们的 shell 或机器本身？
它立即生效，但如果没有其他措施，它不会在重新启动后持续存在。搜索有关如何最好地
/proc/sys在您的发行版上保留设置的其他问题。