Deepspeed作为一种显存优化技术，那么就会有一个问题：
模型训练显存都被谁占用了？
参考论文（
https://arxiv.org/pdf/1910.02054）中的描述在一个
1.5B的
GPT-2模型参数量为
3G（半精度）但是一块32G的显卡可能无法训练下来，这是因为显存都被
模型状态 以及
剩余状态（
Residual Memory Consumption）
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
